앱 상태 제거
인스턴스 메모리에 사용자 세션이나 진행 상태를 두지 않습니다.
Replica 상태와 한계
로드 밸런서가 요청을 나눠도 세션, 캐시, DB 연결, 헬스 체크 기준이 준비되지 않으면 장애가 더 빨리 퍼집니다.
공유 저장소
Redis, DB, 토큰 기반 인증으로 sticky session 의존을 줄입니다.
헬스 체크
readiness는 의존 자원 준비, liveness는 프로세스 회복 기준으로 나눕니다.
연결 예산
replica 증가가 DB max connection을 넘지 않도록 pool 크기를 계산합니다.
확장 지표
CPU 하나보다 RPS, p95, queue depth를 같이 보며 스케일 조건을 둡니다.
1
무상태 확인
임의 인스턴스로 이동해도 요청이 성공해야 합니다.
2
장애 제외
비정상 Pod가 로드 밸런서 대상에서 빠지는지 봅니다.
3
풀 예산
replica 수와 pool 크기를 곱해 DB 한계와 비교합니다.
4
축소 조건
scale in 때 진행 중 요청과 작업이 유실되지 않아야 합니다.
ready: stateless app + external state + probe + pool budget + autoscale metric
수평 확장은 처리량을 늘리지만 병목 자원도 같이 압박합니다. 앱 서버보다 DB, 큐, 외부 API 한계를 먼저 숫자로 잡습니다.