Ceph는 객체를 PG(Placement Group)에 묶고, 그 PG를 어느 OSD에 둘지 CRUSH 알고리즘으로 계산하는 분산 스토리지다. 위치를 묻는 중앙 서버가 없다는 점이 확장성의 바탕이다. 이레이저 코딩 풀에서는 이 배치 규칙과 메타데이터가 곧 데이터를 복구할 수 있는지를 결정한다.
핵심
- CRUSH는 해시가 아니라 배치 정책 엔진이다. 같은 입력이면 같은 위치가 나오므로 클라이언트와 OSD가 각자 계산해도 결과가 같고, 호스트·랙·존 같은 실패 도메인을 인식해 조각을 흩는다. CRUSH map이 실제 인프라 토폴로지와 다르면 복제든 EC든 기대한 내구성을 얻지 못한다. 하드웨어를 넣거나 뺄 때는 rebalance가 미치는 범위를 미리 가늠하고, 규칙 변경은 트래픽과 recovery 부하를 함께 보며 조금씩 적용한다.
- EC 쓰기는 객체를 PG에 매핑하고, primary OSD가 데이터와 패리티 조각을 만들어 CRUSH 규칙대로 배치한 뒤 쓰기 쿼럼을 채우면 끝난다. 실패 도메인 분산이 틀리면 장애 한 번에 복구 가능성을 잃는다.
k/m은 저장 효율과 복구 비용의 균형점이라 읽기 패턴까지 함께 보고 정한다. EC는 작은 random write에 비싸므로 그런 쓰기가 많으면 replicated pool을 함께 쓴다. - 장애 중에는 사용자 읽기와 복구 작업이 같은 자원을 두고 다툰다. degraded read 비율을 따로 보고, backfill과 recovery의 몫을 제어하며, 핫 오브젝트는 풀을 나누는 것도 검토한다. 조각이 빠진 읽기(degraded read)는 최소 복구 조합을 골라 추가 조각을 받고 디코딩해야 응답할 수 있어서 지연과 네트워크 비용이 크게 는다.
- EC 운영에서 정말 어려운 것은 메타데이터다. EC 프로파일, CRUSH 규칙, 객체와 조각의 매핑, PG/OSD 상태가 어긋나면 데이터가 있어도 되살리기 어렵다. 규칙 변경은 이력과 함께 점진적으로 하고, 버전 불일치를 보면 자동 조치보다 격리를 먼저 한다. 장애 복구 플레이북에는 메타데이터 검증 절차를 넣고, 스크럽과 딥스크럽 결과를 메타데이터 오류와 엮어 분석한다.