하둡 편집하기
IT위키
편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
| 최신판 | 당신의 편집 | ||
| 1번째 줄: | 1번째 줄: | ||
[[분류:데이터베이스]] | [[분류:데이터베이스]] | ||
;Hadoop | ;Hadoop | ||
;다수의 컴퓨터로 분산 구성된 [[빅데이터]]를 병렬로 처리할 수 있는 [[공개 소프트웨어]] 프레임워크 | ; 다수의 컴퓨터로 분산 구성된 [[빅데이터]]를 병렬로 처리할 수 있는 [[공개 소프트웨어]] 프레임워크 | ||
== | == 특징 == | ||
* 분산 구조: 여러개의 서버, 일반 PC 등을 모아 분산된 파일시스템 및 분석 시스템 형성 가능 | |||
* [[공개 소프트웨어]]: 무료로 자유롭게, 필요한 경우 변형하여 사용 가능 | |||
* [[결함 허용]] 및 [[확장성]]: 성능 증강이 필요하면 노드 쉽게 추가 가능, 일부 노드가 죽어도 정상 동작 | |||
== 구조 == | |||
;크게 [[맵리듀스]]와 하둡 분산 파일 시스템(HDFS)으로 나눌 수 있다. | ;크게 [[맵리듀스]]와 하둡 분산 파일 시스템(HDFS)으로 나눌 수 있다. | ||
[[파일:하둡 클러스터.png]] | [[파일:하둡 클러스터.png]] | ||
===하둡 분산 파일 시스템=== | === 하둡 분산 파일 시스템 === | ||
;Hadoop Distributed File System | ;Hadoop Distributed File System | ||
* 네임노드(Namenode): 마스터 노드 | |||
* 데이터노드(Datanode): 슬레이브 노드 | |||
=== 맵리듀스 === | |||
===맵리듀스=== | |||
;MapReduce | ;MapReduce | ||
* 잡 트래커 | |||
* 태스크 트래커 | |||
==하둡 에코시스템== | == 하둡 에코시스템 == | ||
[[파일:하둡 에코시스템.png]] | [[파일:하둡 에코시스템.png]] | ||
;하둡 코어 프로젝트(HDFS, 맵리듀스)와 하둡 서브 프로젝트(수집, 분석, 마이닝 등)로 구성 | ;하둡 코어 프로젝트(HDFS, 맵리듀스)와 하둡 서브 프로젝트(수집, 분석, 마이닝 등)로 구성 | ||
===Zookeeper(주키퍼)=== | === Zookeeper(주키퍼) === | ||
===Oozie(우지)=== | === Oozie(우지) === | ||
===Avro(에이브로)=== | === Avro(에이브로) === | ||
===Parquet(파케이)=== | === Parquet(파케이) === | ||
===Flume(플룸)=== | === Flume(플룸) === | ||
===Sqoop(스쿱)=== | === Sqoop(스쿱) === | ||
===Pig(피그)=== | === Pig(피그) === | ||
===Crunch(크런치)=== | === Crunch(크런치) === | ||
===HBase=== | === HBase === | ||
=== Hive(하이브) === | |||
=== Impala === | |||
=== Tajo === | |||
===Hive(하이브)=== | |||
===Impala=== | |||
===Tajo | |||
*[http://www.incodom.kr/hadoop_%EC%B4%9D%EC%A0%95%EB%A6%AC_2%ED%8E%B8 hadoop 총정리 2편 | == 참조 문헌 == | ||
* [http://www.incodom.kr/hadoop_%EC%B4%9D%EC%A0%95%EB%A6%AC_2%ED%8E%B8 hadoop 총정리 2편] | |||
