아래 절은 같은 주제의 연구 메모를 이어 붙인 것이다.
지금 내려받은 과거 데이터는 당시 관측 가능했던 데이터가 아니다
배운 것
- 공개 통계도 봇 재분류 같은 이유로 과거 값이 소급 정정되고, 일부 기간은 원자료 삭제로 정정조차 불가능하다.
- backfile의 파일명 날짜는 그 데이터가 당시 공개되었다는 증거가 아니다.
판단 근거
- 늦게 받은 정정본이 더 이른 결정의 입력으로 들어가면 시점 정합성(PIT)을 주장할 수 없다.
- 응답 버전, 지표 정의 버전, payload 해시, backfill 여부를 남겨야 같은 재수신과 새 개정본을 구별할 수 있다.
적용 조건
- 대체데이터·뉴스·온체인 지표로 신호를 만들 때. 데이터 계약을 통과해도 예측력은 별개로 검증한다.
사건·이용 가능·수신 시각은 서로 다른 타입으로 분리한다
배운 것
- 사건이 일어난 시각, 그 값이 공개되어 이용 가능해진 시각, 내 시스템이 실제로 받은 시각은 서로 다르다.
- 세 시각을 별도 타입(newtype)으로 두면 섞어 쓰는 실수가 컴파일 오류가 된다.
판단 근거
- 공급자가 주는
date하나가 ‘게시 시각이 있으면 그 값, 없으면 발견 시각’처럼 두 의미를 겸하는 경우가 있다. - 블록 헤더 시각처럼 생산자가 적어 넣은 시각은 내 수신 시각을 대신할 수 없다.
적용 조건
- 외부 데이터를 의사결정 입력으로 쓰는 모든 파이프라인. 시각을 알 수 없으면 추정값으로 채우지 말고 unknown으로 둔다.
빈 값과 연결 실패를 0으로 바꾸지 않는다
배운 것
- 노드 재시작이나 캐시 재구축 중에는 정상처럼 보이는 빈 응답이 나올 수 있다.
- 서로 다른 정책의 노드에서 온 두 표시값을 같은 모집단의 분자·분모로 가정하면 안 된다.
판단 근거
- 결측을 0으로 채우면 신호가 실제로는 수집 장애를 학습한다.
- 관측 모집단, 캡처 공백, 재시작 여부를 필드로 남기면 나중에 걸러낼 수 있다.
적용 조건
- 외부 API·노드·크롤러 기반 지표를 집계할 때. 상태를 모르면
unknown으로 둔다.
같은 키의 다른 값은 덮어쓰지 말고 충돌로 기록한다
멱등 쓰기와 Upsert의 일반 원칙은 아래 글을 따른다. 여기서는 같은 키에 다른 값이 들어왔을 때 덮어쓰지 않는 쪽만 적는다.
배운 것
- 같은 키에 같은 값이 다시 들어오면 아무것도 하지 않는다(no-op).
- 같은 키에 다른 값이 들어오면 덮어쓰지 않고 충돌로 기록하며, 기존 행은 그대로 둔다.
- 재시작은 다시 적용하는 것이 아니라 대조(reconcile)한다.
판단 근거
- 마지막 쓰기 우선(upsert)은 원천 데이터의 정정과 수집 버그를 구별할 수 없게 만든다.
- 충돌을 남겨 두면 나중에 어느 쪽이 맞는지 사람이 판단할 수 있다.
적용 조건
- 원천이 사후 정정될 수 있는 외부 데이터 수집, 감사 추적이 필요한 원장성 데이터.