LEVEL 96 QUEST
Apache Kafka 메시지 스트리밍 아키텍처
초당 100만 이벤트를 무손실 전달! Kafka 기반 실시간 메시지 스트리밍 파이프라인 설계 & C++ 고성능 Producer/Consumer 구현
LEVEL 96 - REAL-TIME DATA PIPELINE
Apache Kafka 메시지 스트리밍 아키텍처
1,000,000 msg/sec
초당 100만 이벤트를 무손실으로 전달하는
Kafka 기반 실시간 스트리밍 파이프라인을 설계합니다
영상 생성, 렌더링, 업로드, 분석 - 모든 이벤트가 실시간으로 흐릅니다
1 왜 Kafka인가 - 메시지 브로커 비교
우리 시스템은 초당 수만 건의 이벤트(영상 생성, 렌더링 완료, 업로드, 조회수 변화, 수익 발생)를 처리해야 합니다. 올바른 메시지 브로커 선택이 전체 아키텍처의 성패를 결정합니다.
| 기준 | Apache Kafka | RabbitMQ | Redis Streams | Apache Pulsar |
|---|---|---|---|---|
| 처리량 | 100만+ msg/sec | ~50K msg/sec | ~100K msg/sec | 100만+ msg/sec |
| 지연 시간 | ~5ms (배치) | ~1ms | ~1ms | ~5ms |
| 메시지 보존 | 영구 (설정 가능) | 소비 후 삭제 | 메모리 제한 | 영구 (티어드) |
| 순서 보장 | 파티션 내 보장 | 큐 단위 보장 | 스트림 내 보장 | 파티션 내 보장 |
| 소비자 그룹 | 네이티브 지원 | 제한적 | 지원 | 네이티브 지원 |
| Exactly-Once | 지원 (EOS) | 미지원 | 미지원 | 지원 |
| 운영 복잡도 | 높음 (ZK/KRaft) | 낮음 | 매우 낮음 | 높음 (BK) |
| 에코시스템 | 최대 (Connect, Streams) | 풍부 | 제한적 | 성장 중 |
| 우리 시스템 적합도 | BEST | 부적합 | 캐시 용도만 | 대안 |
Kafka를 선택하는 이유
1. 메시지 영속성 - 이벤트를 7일간 보존하여 재처리 가능 (장애 복구 핵심)
2. Exactly-Once Semantics - 수익 계산에서 중복/누락 방지 필수
3. Consumer Group - 워커를 수평 확장하면서 파티션 자동 재분배
4. Kafka Connect - DB CDC, S3, Elasticsearch 등 100+ 커넥터 제공
2. Exactly-Once Semantics - 수익 계산에서 중복/누락 방지 필수
3. Consumer Group - 워커를 수평 확장하면서 파티션 자동 재분배
4. Kafka Connect - DB CDC, S3, Elasticsearch 등 100+ 커넥터 제공
🔒
여기까지는 미리보기입니다
Apache Kafka 메시지 스트리밍 아키텍처
무료 가입하면 이어서 볼 수 있고, 강의를 완료할 때마다 XP와 레벨이 쌓입니다.
Google로 3초 만에 시작 →🧵 Threads로 시작무료 공개 강의 둘러보기 (Lv.1~3)무료 가입하면 이어서 볼 수 있고, 강의를 완료할 때마다 XP와 레벨이 쌓입니다.