Apache Flink 실시간 스트림 프로세싱
실시간 수익 이상 감지! Flink 스트림 프로세싱으로 Windowing, Watermark, Stateful Processing, Flink SQL 구현
Apache Flink 실시간 스트림 프로세싱
실시간으로 수익 이상을 감지하고, 조회수를 집계하는
Flink 스트림 프로세싱 엔진을 구축합니다
"수익이 갑자기 0이 되었다" - Flink가 30초 내에 감지하고 알림을 보냅니다
1 Batch vs Stream - Lambda vs Kappa 아키텍처
데이터 처리 아키텍처의 두 가지 접근법을 비교합니다. 우리는 Kappa 아키텍처를 선택합니다 - 스트림 하나로 모든 것을 처리합니다.
Lambda 아키텍처
구조: Batch Layer + Speed Layer + Serving Layer
장점: 배치의 정확성 + 스트림의 즉시성
단점: 두 레이어의 로직을 이중으로 관리해야 함
코드 중복, 동기화 복잡도, 운영 비용 2배
판정: 우리 시스템에 부적합
소규모 팀이 두 개의 처리 파이프라인을 관리하는 것은 비효율적
Kappa 아키텍처
구조: Stream Layer만 사용 (Kafka + Flink)
장점: 단일 파이프라인으로 실시간 + 배치 모두 처리
코드 중복 없음, 운영 단순, 이벤트 재처리로 배치 대체
판정: 최적의 선택
Kafka의 이벤트 보존 + Flink의 재처리 = 배치 없이도 정확한 결과
무료 가입하면 이어서 볼 수 있고, 강의를 완료할 때마다 XP와 레벨이 쌓입니다.