아파치 플링크 편집하기

아파치 플링크(Apache Flink)는 실시간 및 배치 데이터 스트리밍 처리를 위한 오픈소스 분산 처리 프레임워크이다.
==개요==
아파치 플링크는 대규모 데이터 스트림 처리를 위한 고성능 분산 처리 엔진이다. 스트리밍 데이터를 기본 처리 단위로 삼지만, 배치 처리 또한 스트리밍의 특수한 형태로 간주하여 일관된 API를 제공한다. 플링크는 정확히 한 번(exactly-once)의 상태 일관성과 이벤트 타임 처리 기능을 제공하여 신뢰성 높은 실시간 분석을 가능하게 한다.
==특징==
*실시간 스트리밍 및 배치 처리 지원
*상태 기반(Stateful) 스트리밍 처리
*정확히 한 번(exactly-once) 처리 보장
*이벤트 타임(Event Time) 및 윈도우(Window) 처리 기능
*다양한 소스 및 싱크 커넥터 지원(Kafka, HDFS, JDBC 등)
*Flink SQL 및 Table API를 통한 고수준 질의 처리
*고가용성 및 장애 복구 기능 지원
==구성 요소==
*JobManager: 작업의 전체 수명 주기를 관리하며, 작업 스케줄링 및 장애 복구를 담당한다.
*TaskManager: 실제 사용자 작업을 실행하며, 각각의 연산(Task)을 병렬로 처리한다.
*Dispatcher & ResourceManager: 클러스터 자원 관리를 담당하며, 다양한 배포 모드(Kubernetes, YARN 등)를 지원한다.
==주요 사용 사례==
*실시간 로그 분석 및 모니터링
*사기 탐지 시스템
*실시간 추천 시스템
*금융 거래 스트림 처리
*IoT 센서 데이터 분석
==역사==
아파치 플링크는 독일 베를린의 TU Berlin에서 시작된 Stratosphere 프로젝트에서 유래되었으며, 2014년 아파치 인큐베이터 프로젝트로 채택되었다. 2015년에는 정식 아파치 탑레벨 프로젝트로 승격되었다.
==관련 프로젝트==
*Apache Kafka: 메시지 브로커로 Flink와 자주 함께 사용된다.
*Apache Beam: Flink를 실행 엔진으로 사용할 수 있는 범용 데이터 처리 모델을 제공한다.
*Apache Spark: 유사한 기능을 제공하는 데이터 처리 프레임워크로 Flink와 비교된다.
==같이 보기==
*[[아파치 스파크]]
*[[아파치 카프카]]
*[[분산 처리]]
*[[스트리밍 데이터]]
*[[빅 데이터]]
==참고 문헌==
*Kostas Tzoumas, Fabian Hueske. *Streaming Systems: The What, Where, When, and How of Large-Scale Data Processing*. O'Reilly Media, 2019.
*Fabian Hueske. *Stream Processing with Apache Flink*. O'Reilly Media, 2019.
==각주==
[[분류:분산 컴퓨팅]]