확장은 처음부터 큰 구조를 짓는 일이 아니라, 지금 병목이 어디인지 보고 그 병목을 푸는 최소 구조를 고르는 일이다. 평소의 점진적 증가, 짧은 순간의 폭주, 연결을 오래 붙잡는 실시간 트래픽은 병목의 모양이 달라서 대응도 다르다.

핵심

  • 점진적 확장은 단계별로 간다. 단일 서버와 관리형 DB에서 시작해 앱 서버 수평 확장과 CDN, 캐시와 read replica와 샤딩, 멀티 리전과 cell 분리 순으로 키운다. 관측은 가장 먼저 갖추고, 단계를 올릴 때마다 병목 위치, 늘어날 운영 복잡도, 롤백 경로를 확인한다. 데이터 병목 단계에서는 읽기 캐시를 먼저 두고, 그다음 read replica, 필요할 때만 샤딩이나 파티셔닝으로 간다. 사용자 수만 보고 분산 구조를 들이지 않는다.
  • 순간 폭주의 본질은 처리량이 아니라 쓰기 경합이다. 요청은 즉시 접수만 하고 큐 뒤의 worker가 처리하게 하며, rate limit과 대기열로 들어오는 양을 제어하고, 재시도해도 한 번만 반영되도록 멱등성 키를 둔다. 핵심 위험은 DB 락 경합과 커넥션 고갈이다. 재고나 자원은 미리 나눠 할당하고, 입장 제어에는 초당 허용량 제한, 대기 순번, 클라이언트 폴링 주기 통제를 쓴다. 멱등성 키는 request_id나 user_id + event_id 같은 꼴이다. 큐 길이와 처리량을 보지 않고 worker만 늘리거나, 실패했을 때의 보상·환불 경로를 정하지 않는 것이 흔한 실수다.
  • 실시간 연결을 여러 서버로 늘리면 누가 어디에 붙어 있는지가 흩어진다. 세션 위치는 Redis Hash에 중앙화하고, 서버 간 전달은 Pub/Sub로, 재연결 시 누락 복구는 Streams로 나눠 맡긴다. 좀비 세션은 Heartbeat와 TTL로, 서버 종료는 Graceful Shutdown으로 정리한다. 키 구성은 HSET ws:sessions {userId} {serverId}, PUBLISH ws:server:{serverId} {event}, XADD ws:events * userId {userId} payload {json} 꼴이다. 메시지를 보내면 받는 쪽의 serverId를 Hash에서 찾아 그 서버 채널로 발행하고, 받은 서버가 로컬 소켓으로 넘기며, 이벤트는 Streams에 남긴다. 재연결한 클라이언트가 마지막 이벤트 ID를 보내면 Streams에서 빠진 것을 다시 보낸다. 연결·활성 세션 수, Pub/Sub 전달 지연 p95/p99, 재연결 뒤 누락 복구 성공률, 서버별 fan-out 처리량을 본다.
  • 셋 다 흔한 실패가 닮았다. 지표 없이 구조를 키우고, 일관성 전략 없이 캐시를 늘리고, 장애 격리보다 확장성을 앞세워 blast radius를 키우는 것이다.

관련