하둡: Difference between revisions

From IT Wiki
No edit summary
No edit summary
Line 4: Line 4:
* 일반 컴퓨터로 가상화된 대형 스토리지 형성
* 일반 컴퓨터로 가상화된 대형 스토리지 형성
* 그 안에 보관된 거대한 데이터 세트를 병렬로 처리할 수 있도록 빅데이터 분산처리를 돕는 자바 [[오픈 소스 소프트웨어]] 프레임워크
* 그 안에 보관된 거대한 데이터 세트를 병렬로 처리할 수 있도록 빅데이터 분산처리를 돕는 자바 [[오픈 소스 소프트웨어]] 프레임워크
== 하둡 에코시스템 ==
[[파일:하둡 에코시스템.png]]
;하둡 코어 프로젝트(HDFS, MapReduce)와 하둡 서브 프로젝트(수집, 분석, 마이닝 등)로 구성
=== Zookeeper(주키퍼) ===
=== Oozie(우지) ===
=== Avro(에이브로) ===
=== Parquet(파케이) ===
=== Flume(플룸) ===
=== Sqoop(스쿱) ===
=== Pig(피그) ===
=== Crunch(크런치) ===
=== HBase ===
=== Hive(하이브) ===
=== Impala ===
=== Tajo ===
== 참조 문헌 ==
* [http://www.incodom.kr/hadoop_%EC%B4%9D%EC%A0%95%EB%A6%AC_2%ED%8E%B8 hadoop 총정리 2편]

Revision as of 18:04, 2 January 2020

Hadoop
  • 일반 컴퓨터로 가상화된 대형 스토리지 형성
  • 그 안에 보관된 거대한 데이터 세트를 병렬로 처리할 수 있도록 빅데이터 분산처리를 돕는 자바 오픈 소스 소프트웨어 프레임워크

하둡 에코시스템

하둡 에코시스템.png

하둡 코어 프로젝트(HDFS, MapReduce)와 하둡 서브 프로젝트(수집, 분석, 마이닝 등)로 구성

Zookeeper(주키퍼)

Oozie(우지)

Avro(에이브로)

Parquet(파케이)

Flume(플룸)

Sqoop(스쿱)

Pig(피그)

Crunch(크런치)

HBase

Hive(하이브)

Impala

Tajo

참조 문헌