트래픽이 늘면 소켓, 아웃바운드 포트, 파일 디스크립터(FD) 같은 OS 자원이 먼저 바닥나기도 한다. 증상은 EADDRNOTAVAIL이나 Too many open files 같은 네트워크 오류로 보이지만, 원인은 대개 연결을 재사용하지 않거나 닫지 않는 애플리케이션 쪽에 있다. 커널 한도는 보강일 뿐 해결책이 아니다.

핵심

  • 먼저 무엇이 고갈됐는지 가른다. connect EADDRNOTAVAIL은 아웃바운드 포트 고갈, listen EADDRNOTAVAIL은 없는 로컬 IP에 바인딩한 설정 문제다. FD 문제는 /proc/<pid>/limits와 /proc/<pid>/fd 개수로 한도와 사용량을 비교한다. connect 쪽은 /proc/sys/net/ipv4/ip_local_port_range와 ss -tan state time-wait | wc -l로 확인하고, TIME_WAIT이 폭증하는데 ephemeral 범위가 좁으면 포트 고갈일 가능성이 크다. listen 쪽은 잘못된 NIC IP나 컨테이너와 호스트의 네트워크 모드 불일치를 보고, 보통 0.0.0.0이나 실제 인터페이스 IP에 바인딩한다. FD 초과는 EMFILE(Too many open files)로 나타나고, 시스템 전체 한도는 /proc/sys/fs/file-max로 본다.
  • 고치는 순서는 애플리케이션이 먼저다. keep-alive로 연결을 재사용하고, 요청마다 새 클라이언트를 만들지 않고, 모든 외부 호출에 timeout을 두고, 재시도는 백오프와 jitter로 폭주를 막는다. 누수가 있으면 한도를 올려도 같은 장애가 다시 온다.
  • 커널과 서비스 설정은 그다음이다. 포트 범위는 ip_local_port_range, FD는 systemd의 LimitNOFILE과 fs.file-max로 늘린다. 셸에서 ulimit만 올리면 서비스에는 반영되지 않으므로 재시작 뒤 실제 프로세스 한도를 다시 확인한다. 적용 뒤에는 daemon-reload, 재시작, 재확인을 거친다. 원인 분석 없이 숫자만 거듭 올리지 않는다.

관련