Backend
Kafka 컨슈머를 꺼보며 이해한 오프셋, 리밸런싱, 중복 처리
파티션 3개와 컨슈머 그룹 g1으로 시작한 Kafka 실험. 컨슈머를 중단하고 늘려보며 오프셋과 LAG를 확인하고, 커밋 시점에 따라 중복 처리와 유실이 발생하는 이유를 정리했다.
하나의 주제로 이어지는 배움의 기록.
파티션 3개와 컨슈머 그룹 g1으로 시작한 Kafka 실험. 컨슈머를 중단하고 늘려보며 오프셋과 LAG를 확인하고, 커밋 시점에 따라 중복 처리와 유실이 발생하는 이유를 정리했다.
Airbridge의 Project Differential이 마이크로 배치의 대기 시간을 줄이고, Consumer별 처리 속도를 존중하면서 이벤트 처리 순서를 지킨 방법을 정리한 기술 블로그 리뷰.