로그 컴팩션 (Log Compaction)

사용자 프로필을 카프카에 보관합니다. 주소가 바뀔 때마다 새 줄로 덧붙입니다 — 고치는 게 아니라 쌓는 것입니다.

다른 사용자의 값도 같은 줄에 쌓입니다. 키가 달라도 한 파티션 안에 순서대로 들어갑니다.

user-42 가 판교로 이사했습니다. 앞의 '서울'을 지우지 않고 새 값을 덧붙입니다.

또 이사하면 또 덧붙습니다. 이대로 두면 자주 바뀌는 키 때문에 로그가 끝없이 커집니다.

user-7 도 대전으로 옮겼습니다. 지금 이 로그를 처음부터 읽으면 현재 주소는 알 수 있지만, 읽을 양이 계속 늘어납니다.

여기서 컴팩션이 동작합니다. 키마다 마지막 값만 남기고 앞의 것들을 지울 대상으로 표시합니다.

정리가 끝나면 키당 한 줄만 남습니다. 번호는 새로 매기지 않아 오프셋에 구멍이 생기지만, '지금 상태'는 그대로 읽힙니다.

그래서 서비스가 재시작하면 이 토픽을 처음부터 읽는 것만으로 전체 프로필을 복원할 수 있습니다.