LEVEL 78 QUEST

데이터 파이프라인 아키텍처

데이터 파이프라인 아키텍처 — DevFoil 바이브코딩 Stage 17, Lv.78

데이터 파이프라인이란?

데이터의 흐름을 설계하다

데이터 파이프라인은 데이터를 수집하고, 변환하고, 저장하는 일련의 자동화된 과정입니다. 웹사이트 로그, API 데이터, IoT 센서 등 다양한 소스에서 데이터를 모아 분석 가능한 형태로 가공합니다.

바이브코딩으로 데이터 파이프라인을 구축하면, "매일 아침 판매 데이터를 정리해서 대시보드에 표시해줘"라는 한 문장으로 복잡한 ETL 시스템을 만들 수 있습니다.

이 강의에서 다루는 내용:

ETL vs ELT 패턴의 차이와 선택 기준
배치 처리 vs 실시간 처리
데이터 레이크와 데이터 웨어하우스
파이프라인 아키텍처 설계 패턴

ETL vs ELT 패턴

데이터 변환의 두 가지 접근법

ETL(Extract-Transform-Load)은 데이터를 추출한 뒤 변환하고 저장합니다. ELT(Extract-Load-Transform)은 먼저 저장한 뒤 필요할 때 변환합니다.

항목	ETL	ELT
변환 시점	로드 전 (파이프라인에서)	로드 후 (저장소에서)
저장소	데이터 웨어하우스	데이터 레이크
데이터 품질	로드 시 보장됨	쿼리 시 확인
유연성	스키마 미리 정의	스키마 나중에 정의
처리 비용	파이프라인 서버 비용	저장소 컴퓨팅 비용
적합 상황	정형 데이터, 규정 준수	대용량, 탐색적 분석
대표 도구	Apache Airflow, Luigi	dbt, BigQuery, Snowflake

🔒

여기까지는 미리보기입니다

데이터 파이프라인 아키텍처
무료 가입하면 이어서 볼 수 있고, 강의를 완료할 때마다 XP와 레벨이 쌓입니다.

Google로 3초 만에 시작 →🧵 Threads로 시작 무료 공개 강의 둘러보기 (Lv.1~3)