플럼: 두 판 사이의 차이

IT위키
편집 요약 없음
잔글 (문자열 찾아 바꾸기 - "분류:데이터 분석" 문자열을 "분류:데이터/통계학" 문자열로)
1번째 줄: 1번째 줄:
[[분류:데이터 분석]]
[[분류:데이터/통계학]]
;Flume
;Flume
;연속적으로 생성되는 데이터스트림을 수집 및 전송하여 [[HDFS]]에 저장할 수 있는 도구
;연속적으로 생성되는 데이터스트림을 수집 및 전송하여 [[HDFS]]에 저장할 수 있는 도구

2020년 3월 8일 (일) 16:29 판

Flume
연속적으로 생성되는 데이터스트림을 수집 및 전송하여 HDFS에 저장할 수 있는 도구

스파크 프레임워크 구조.png

구성 요소

구성 요소 설명
소스(Source) 외부 데이터 소스에 설치되는 에이전트
싱크(Sink) 데이터 목적지에 설치되는 에이전트
채널(Channel) 소스와 싱크 간에 데이터를 받는 통로

구성 방법

  • 1소스 1채널 1싱크
  • 멀티 에이전트 플로우 구성
  • 멀티 에이전트 통합 구성
  • 멀티플렉싱 플로우 구성

참고 문헌

  • 구자환 교수님 강의자료