배치 청크

배치 처리의 트랜잭션

대량 작업은 chunk 단위로 읽고 처리하고 쓴 뒤 커밋한다. 실패 범위와 재시작 비용을 통제하기 위해서다.

chunk 단위 커밋
재시도/skip 정책
restart 가능성
1Read정해진 chunk 크기만큼 입력을 읽는다
2Process검증, 변환, 계산을 수행한다
3Writebulk insert/update 등으로 결과를 저장한다
4Commit성공한 chunk만 확정하고 다음 chunk로 이동한다
배치 청크 크기메모리, 로그, 락 시간
실패 처리 정책rollback, retry, skip 정책
재개 지점마지막 성공 지점 기록