스파크 편집하기
IT위키
편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
최신판 | 당신의 편집 | ||
2번째 줄: | 2번째 줄: | ||
;Spark | ;Spark | ||
; | ;인-메모리 기반의 분산 데이터 처리 시스템 | ||
* UC 버클리의 AMP 랩에서 개발하였으며, 현재 아파치 재단에서 관리 | * UC 버클리의 AMP 랩에서 개발하였으며, 현재 아파치 재단에서 관리 | ||
* 공개 소프트웨어로, 창시자가 설립한 [[데이터브릭스]]에서 주로 개발 | * 공개 소프트웨어로, 창시자가 설립한 [[데이터브릭스]]에서 주로 개발 | ||
* 인-메모리 방식의 분산 처리 시스템 | |||
==등장 배경 및 특징== | ==등장 배경 및 특징== | ||
45번째 줄: | 46번째 줄: | ||
==RDD== | ==RDD== | ||
;Resilient Distribute Dataset | ;Resilient Distribute Dataset | ||
53번째 줄: | 55번째 줄: | ||
**분산성(distributed): 노드 한 개 이상에 저장된 데이터셋 | **분산성(distributed): 노드 한 개 이상에 저장된 데이터셋 | ||
==참조 문헌== | ==참조 문헌== | ||
*[https://www.youtube.com/watch?v=O35dLfyklm0 빅데이터 051 인메모리 데이터 처리 기반 SW의 등장(구자환 교수님)] | *[https://www.youtube.com/watch?v=O35dLfyklm0 빅데이터 051 인메모리 데이터 처리 기반 SW의 등장(구자환 교수님)] |