아래 절은 같은 주제의 연구 메모를 이어 붙인 것이다.

백테스트 숫자에는 분모와 고정 조건을 함께 적는다

배운 것

  • 백테스트나 지연 시간 수치를 보고할 때는 표본 수, 무엇을 고정했는지, 비용(수수료·펀딩·슬리피지)과 룩어헤드를 빼지 않았다는 점을 함께 적는다.
  • 컴파일 성공이나 CI 통과는 전략에 엣지가 있다는 증거가 아니다.

판단 근거

  • 분모 없는 수치는 재현할 수 없고, 비교 대상이 바뀌어도 알아챌 수 없다.

적용 조건

  • 연구 노트, 실험 보고, PR 설명 등 숫자로 결론을 주장하는 모든 문서.

중단 후 재실행한 시도까지 전부 시행 횟수로 센다

배운 것

  • 전략 연구는 전역 시행 예산(N)을 정해 두고, 모든 시도에 고유 ID를 부여해 원장에 남긴다.
  • 중단 후 재실행도 새 시도로 센다. 비용 시나리오 같은 평가 변형은 시행이 아니다.
  • 새 가설을 넣으려면 중복된 대기 항목을 빼서 예산을 맞춘다.

판단 근거

  • 시행 횟수를 줄여 세면 Deflated Sharpe 같은 기준이 실제보다 쉬워진다.

적용 조건

  • 여러 전략·파라미터를 같은 데이터로 탐색하는 연구. 사후(post-hoc) 가설은 사전(ex-ante) 가설과 표시를 구분한다.

모든 후보가 지면 ‘덜 진 것’이 아니라 무포지션을 고른다

배운 것

  • 학습 구간에서 모든 설정의 비용 후 Sharpe가 0 이하이면 그 폴드는 주문 없이 FLAT으로 둔다. 정의되지 않는 Sharpe는 0으로 센다.
  • FLAT 기간도 평가 기간에 포함해 일수익 0으로 계산한다.

판단 근거

  • argmax 선택 규칙은 모두 나쁠 때도 하나를 고르게 만들어, 손실 설정을 검증 구간에 밀어 넣는다.

적용 조건

  • 파라미터 그리드를 폴드마다 다시 고르는 워크포워드 평가. 규칙은 실행 전 사전등록 문서에 고정한다.

작은 총수익 엣지는 회전율 비용에 먼저 잠식된다

배운 것

  • 여러 추세 계열 전략이 비용 차감 전에는 작은 우위를 보였지만, 연간 회전율이 높아 비용 차감 후 모두 기각됐다.
  • 다음 가설은 신호를 바꾸기보다 보유 기간을 늘리고 리밸런싱 빈도를 줄이는 방향으로 다시 세운다.

판단 근거

  • 비용은 회전율에 비례하고 엣지는 그렇지 않다. 회전율을 먼저 보면 실패 원인이 신호인지 비용인지 갈린다.

적용 조건

  • 수수료가 있는 시장에서 분·시간 단위 신호를 평가할 때. 비용 시나리오는 사전에 고정한다.

룩어헤드는 런타임 검사가 아니라 타입 오류로 막는다

배운 것

  • 신호 코드는 원시 데이터가 아니라 ‘결정 시각 기준으로 이미 이용 가능한 값’만 담는 뷰 타입을 입력으로 받게 한다.
  • 그 뷰는 공개 생성자를 두지 않고, available_ts <= decision_ts일 때만 만들어지는 단일 경로로 생성한다.

판단 근거

  • 룩어헤드를 리뷰나 런타임 assert로 잡으면 한 번은 반드시 새어 나간다. 타입으로 막으면 잘못된 호출 자체가 성립하지 않는다.
  • 이후 행을 바꿔도 뷰 결과가 변하지 않는다는 속성 테스트를 함께 두면 경계가 실제로 지켜지는지 확인할 수 있다.

적용 조건

  • 시계열 의사결정(백테스트, 피처 생성)에서 사건 시각과 이용 가능 시각이 다를 때 쓴다.