live와 ready를 분리해 프로세스 생존과 트래픽 수용 가능 상태를 다르게 봅니다.
로드 밸런서 운영
요청을 나누는 알고리즘만으로는 충분하지 않고, 어떤 서버를 제외할지와 배포 중 연결을 어떻게 비울지가 핵심입니다.
배포 전 새 요청을 막고 기존 연결이 끝날 시간을 줍니다.
round robin, least connection, weighted 방식은 트래픽 특성에 맞춰 고릅니다.
sticky는 편하지만 불균형과 장애 시 세션 손실 위험이 있습니다.
세션은 Redis나 토큰처럼 서버 밖으로 빼야 수평 확장이 쉽습니다.
5xx, target response time, unhealthy count, connection count를 함께 봅니다.
로드 밸런서를 TLS, 헬스 체크, 배포 경계로 설명합니다.