블록 헤더의 해시가 맞아도 본문을 실제로 받을 수 있다는 보장은 없다. 생산자가 헤더만 공개하고 일부 데이터를 숨기면 노드는 헤더를 받아들이고도 상태를 다시 검증할 수 없다. 데이터 가용성은 이 빈틈을 다루는 문제이고, Celestia는 전체를 내려받는 대신 확률적으로 충분한 검증을 택했다.

핵심

  • 해시 검증은 일관성만 보장하고 가용성은 보장하지 않는다. 그래서 루트 검증에 더해 데이터를 실제로 요청해 보는 샘플링이 필요하다. 전형적인 공격은 data withholding이다. 유효한 헤더와 루트를 퍼뜨리고 본문 일부를 숨기면, 노드는 헤더를 받아들이고도 상태를 다시 검증할 수 없어 체인이나 롤업의 신뢰가 약해진다.
  • 데이터는 먼저 정사각형으로 편다. 트랜잭션을 종류별로 나누고 share로 쪼개 네임스페이스 순으로 정렬한 뒤, 패딩으로 2의 거듭제곱 크기 정사각형(ODS)을 만든다. 이 배치가 이후 샘플링과 증명의 효율을 정한다. 일반 트랜잭션과 PFB(PayForBlob)는 compact share에, blob 데이터는 sparse share에 따로 담는다. max square size는 네트워크와 메모리 한계에 맞춰 관리하고, 패딩 비율이 높으면 배치 정책을 다시 보며, 네임스페이스 정렬 규칙을 바꿀 때는 하위 호환을 따진다.
  • 정사각형은 행과 열 양쪽으로 확장한다. ODS를 2D 리드-솔로몬으로 늘린 EDS는 원본, 행 패리티, 열 패리티, 행·열 패리티의 네 사분면으로 이뤄져 일부가 빠져도 복구할 수 있다. 2D 인코딩은 단순 복제보다 저장 효율이 높고, 누락 패턴이 생겨도 복구될 가능성이 크며, DAS와 함께 쓸 때 탐지와 복구의 균형이 좋다. Q1~Q4의 역할은 설계 문서에서 팀 공통 언어로 고정해 둔다.
  • 라이트 노드는 무작위 좌표 몇 개만 확인한다. 절반이 숨겨졌다면 샘플 하나가 숨긴 곳을 피할 확률은 1/2이고, 독립 샘플 n개가 모두 피할 확률은 (1/2)^n이라 샘플을 조금만 늘려도 탐지 실패가 급격히 준다. 샘플 수는 보안과 비용의 균형점이다. 기본 샘플 수는 고정값(예: 16)에서 시작하지만 정답이 아니다. 샘플 요청 성공률과 재시도율, 응답 지연 p95/p99, 블록 크기 구간별 실패율, 피어별 불응 비율을 보며 실제 네트워크 품질과 공격 가정에 맞춰 조정한다.
  • 검증은 세 장치의 조합이다. EDS가 복구 가능성을, DAS가 가용성을, 네임스페이스 머클 트리(NMT)가 필요한 부분만 검증하는 효율을 맡는다. 실제로 중요한 것은 수학보다 노드 사이 운영 파라미터의 일관성이다. 검증 순서는 헤더를 받고, 무작위 샘플과 증명을 요청해 루트와 맞춰 본 뒤, 샘플 정책을 채우면 가용하다고 받아들이는 것이다. 위험은 피어 품질 저하로 샘플링 실패율이 치솟는 경우, 노드마다 저장 윈도우 정책이 다른 경우, 검증 파라미터를 바꿔 노드 사이 판단이 갈리는 경우다.
  • 저장도 시간에 따라 달리 한다. 최근 블록은 원본과 Q4 사분면을 함께(EDS의 약 1/2) 두어 샘플링과 복구 계산을 줄이고, 오래된 블록은 원본만(약 1/4) 둬 디스크를 아낀다. celestia-node의 store/file 패키지가 이 정책을 맡는다. ODS, q4, ODSQ4 접근자와 파일 포맷 메타데이터 headerV0, 리드-솔로몬 인코더 캐시 codecCache로 이뤄진다. Q4는 lazy loading으로 시작 지연을 줄이고, 파일 크기나 해시 검증에 실패하면 바로 격리하며, 인코더 캐시 적중률을 지켜봐 CPU 급등을 막는다. EDS 생성 실패는 인코딩 문제와 입력 데이터 문제를 나눠 로깅하고, 복구 경로 테스트는 정기적으로 돌린다.

관련