익명 사용자
로그인하지 않음
토론
기여
계정 만들기
로그인
IT 위키
검색
아파치 스파크 스테이지
편집하기 (부분)
IT 위키
이름공간
문서
토론
더 보기
더 보기
문서 행위
읽기
편집
원본 편집
역사
경고:
로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다.
로그인
하거나
계정을 생성하면
편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
스팸 방지 검사입니다. 이것을 입력하지
마세요
!
==개요== 스파크 작업은 대개 여러 개의 '''스테이지'''로 나누어져 실행된다. 각 스테이지는 데이터를 처리하는 작업 단위로, 스파크 클러스터에서 병렬로 실행될 수 있다. 스테이지의 구분은 주로 셔플 연산(shuffle operation)이 발생하는 지점에서 이루어진다. 셔플 연산은 데이터가 네트워크를 통해 이동하며 다시 분배되는 과정을 의미한다. *좁은 변환 (Narrow Transformation): 데이터를 재분배하지 않고 하나의 파티션 내에서만 연산을 수행하는 연산으로, 셔플 연산이 발생하지 않는다. 예: `map`, `filter` *넓은 변환 (Wide Transformation): 여러 파티션에서 데이터를 재배치하는 연산으로, 셔플 연산이 발생한다. 예: `groupBy`, `join`
요약:
IT 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는
IT 위키:저작권
문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다.
저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소
편집 도움말
(새 창에서 열림)
둘러보기
둘러보기
대문
최근 바뀜
광고
위키 도구
위키 도구
특수 문서 목록
문서 도구
문서 도구
사용자 문서 도구
더 보기
여기를 가리키는 문서
가리키는 글의 최근 바뀜
문서 정보
문서 기록