세션과 파일을 오래 붙들면 교체 가능성이 깨집니다.
로컬 상태는 밖으로 빼고, 확장 지표는 병목 위치별로 본다
모든 인스턴스가 교체 가능해야 안정적으로 늘릴 수 있습니다. 동시에 어떤 자원이 먼저 막히는지 계층별로 측정해야 합니다.
세션, 캐시, rate limit처럼 빠르게 바뀌는 공유 상태를 둡니다.
업로드 파일은 object storage나 공유 볼륨으로 보냅니다.
작업 대기열과 consumer lag를 보고 처리량을 조절합니다.
RPS와 p95 latency가 같이 오르는지 봅니다.
5xx와 timeout이 특정 인스턴스 문제인지 나눕니다.
pool wait와 slow query가 새 병목인지 확인합니다.
lag, retry, consumer 수가 균형인지 확인합니다.
한 줄 요약: 상태는 외부화하고, 지표는 API·DB·Queue 계층으로 분리한다.