트래픽은 한 지점으로 모이고 로드 밸런서가 첫 판단자가 됩니다.
수평 확장은 서버 수가 아니라 교체 가능한 인스턴스 설계다
요청 분산만으로는 부족합니다. 인스턴스 풀, 헬스 체크, 상태 분리, 스케일 기준이 함께 맞아야 안정적으로 늘어납니다.
round robin, least connection, IP hash 중 서비스 특성에 맞게 보냅니다.
여러 Nest 인스턴스가 같은 API를 제공하고 하나가 빠져도 응답합니다.
세션, 캐시, 파일, rate limit 상태는 외부 저장소로 분리합니다.
준비된 인스턴스만 요청을 받게 합니다.
DB connection과 외부 API quota를 같이 봅니다.
CPU뿐 아니라 RPS, latency, queue lag를 봅니다.
한 대 제거 실험으로 세션과 작업이 안전한지 확인합니다.
핵심: scale out은 “같은 역할의 인스턴스를 안전하게 바꿔 끼울 수 있는가”를 검증하는 일이다.