맵리듀스: 두 판 사이의 차이
IT 위키
편집 요약 없음 |
|||
| 9번째 줄: | 9번째 줄: | ||
[[파일:맵-셔플-리듀스.png]] | [[파일:맵-셔플-리듀스.png]] | ||
== 맵 == | === 맵 === | ||
* 분산된 데이터를 Key-Value로 모은다 | * 분산된 데이터를 Key-Value로 모은다 | ||
== 셔플 == | === 셔플 === | ||
* 중간 결과를 리듀스로 전달한다. | * 중간 결과를 리듀스로 전달한다. | ||
== 리듀스 == | === 리듀스 === | ||
* 리스트에서 원하는 데이터를 찾아서 집계 | * 리스트에서 원하는 데이터를 찾아서 집계 | ||
== 활용 == | |||
* 셔플과 소트는 하둡 등 엔진이 담당한다. | |||
* 개발자는 맵 함수와 리듀스 함수를 개발한다. | |||
2020년 1월 2일 (목) 21:07 판
- MapReduce
- 다수의 머신들로 구성한 분산 데이터베이스를 병렬로 처리하기 위한 프로그래밍 모델
- 구글에서 처음으로 개념 소개
- 하둡 프레임워크에서 활용
구성/절차
- 맵(Map) 작업과 리듀스(Reduce) 작업으로 구성
맵
- 분산된 데이터를 Key-Value로 모은다
셔플
- 중간 결과를 리듀스로 전달한다.
리듀스
- 리스트에서 원하는 데이터를 찾아서 집계
활용
- 셔플과 소트는 하둡 등 엔진이 담당한다.
- 개발자는 맵 함수와 리듀스 함수를 개발한다.
