하둡

Hadoop

다수의 컴퓨터로 분산 구성된 빅데이터를 병렬로 처리할 수 있는 공개 소프트웨어 프레임워크

• 아파치 소프트웨어 재단의 프로젝트로, 자바로 작성된 무료(프리웨어) 소프트웨어 프레임워크다. 대량의 자료를 큰 컴퓨터 클러스터에서 처리하는 분산 응용 프로그램을 지원한다
• NoSQL 은 데이터베이스 유형, R 은 통계 분석 언어, 앤서블(Ansible)은 서버 구성 자동화 도구로 하둡과 다르다

특징

• 분산 구조: 여러개의 서버, 일반 PC 등을 모아 분산된 파일시스템 및 분석 시스템 형성 가능
• 공개 소프트웨어: 무료로 자유롭게, 필요한 경우 변형하여 사용 가능
• 결함 허용 및 확장성: 성능 증강이 필요하면 노드를 쉽게 추가 가능, 일부 노드가 죽어도 정상 동작

구조

크게 맵리듀스와 하둡 분산 파일 시스템(HDFS)으로 나눌 수 있다.

하둡 분산 파일 시스템

Hadoop Distributed File System

• 네임노드(Namenode): 마스터 노드
• 데이터노드(Datanode): 슬레이브 노드

맵리듀스

MapReduce

• 잡 트래커
• 태스크 트래커

하둡 에코시스템

하둡 코어 프로젝트(HDFS, 맵리듀스)와 하둡 서브 프로젝트(수집, 분석, 마이닝 등)로 구성

HBase

• HDFS를 보다 효율적으로 사용하기 위한 시스템
• 구조화된 대용량의 데이터에 빠른 임의 접근을 제공(Latency 감소)
• HDFS의 데이터에 대한 실시간 읽기/쓰기 기능 제공

Tajo(타조)

• 오픈소스 기반 분산 컴퓨터 플랫폼인 아파치 하둡(Apache Hadoop) 기반의 분산 데이터 웨어하우스 프로젝트로 대규모 데이터 처리와 실시간 상호 분석에 모두 사용 가능함.

버전별 주요 변화

버전	처음 들어온 것
1.x	HDFS(NameNode, DataNode, 체크포인트용 Secondary NameNode)와 맵리듀스 1(잡트래커·태스크트래커)
2.x	YARN 으로 자원 관리를 맵리듀스에서 떼어 냄(ResourceManager, NodeManager, ApplicationMaster). 네임노드 고가용성(Active-Standby)
3.0 (2017년 12월)	HDFS 이레이저 코딩, 자바 8 최소 요구, YARN 타임라인 서비스 v.2, 셸 스크립트 재작성, 기회적 컨테이너, 세 개 이상의 네임노드

• 하둡 3.0.0 문서는 이레이저 코딩이 복제보다 공간을 크게 아낀다며 Reed-Solomon(10, 4) 의 공간 오버헤드 1.4배를 표준 3벌 복제의 3배와 비교한다.
• YARN 은 하둡 2.0 에서 잡트래커의 자원 관리와 작업 감시 기능을 나누어 도입되었다. 그래서 YARN·ResourceManager·Secondary NameNode 는 3.0 의 새 기술이 아니다

하둡 배포판

• 아파치 하둡
• 클라우데라 하둡(CDH)
• 호튼웍스 하둡
• 앱알(MAPR) 하둡

한계

• 실시간 데이터 처리에는 비효율적
• 비동기적 데이터 처리에 비효율적
• 반복 작업이 많은 경우에는 비효율적

참조 문헌

• hadoop 총정리 2편
• Big Data Koo(구자환 교수님 채널)