데이터 파이프라인

데이터의 흐름, 그 흐름 과정에서 이루어지는 전방위적 처리과정을 수행하는 시스템, 또는 매커니즘

특징

• 병렬 처리
• 대규모 및 실시간
• 자동화

수행 기능

• 추출(extracting)
• 변경(transforming)
• 결합(combining)
• 검증(validating)
• 적재(loading)

ETL과의 차이

• 데이터 파이프라인은 ETL을 서브셋으로 포함하는 광범위한 용어