익명 사용자
로그인하지 않음
토론
기여
계정 만들기
로그인
IT 위키
검색
아파치 스파크 스테이지
편집하기 (부분)
IT 위키
이름공간
문서
토론
더 보기
더 보기
문서 행위
읽기
편집
원본 편집
역사
경고:
로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다.
로그인
하거나
계정을 생성하면
편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
스팸 방지 검사입니다. 이것을 입력하지
마세요
!
==스테이지 간 의존성== 스파크에서 스테이지 간 의존성은 좁은 의존성(Narrow Dependency)과 넓은 의존성(Wide Dependency)으로 나눌 수 있다: *좁은 의존성(Narrow Dependency): 하나의 파티션에서 다른 파티션의 데이터를 참조하는 연산이다. 예: `map`, `filter`. 이러한 연산은 셔플을 발생시키지 않으며, 동일한 스테이지에서 실행된다. *넓은 의존성(Wide Dependency): 여러 파티션에서 데이터를 병합하거나 재분배하는 연산이다. 예: `groupBy`, `join`. 이러한 연산은 셔플을 발생시켜 새로운 스테이지를 형성한다. 스파크는 넓은 의존성이 있을 때마다 새로운 스테이지를 나누어, 셔플을 통해 데이터를 재분배한다.
요약:
IT 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는
IT 위키:저작권
문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다.
저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소
편집 도움말
(새 창에서 열림)
둘러보기
둘러보기
대문
최근 바뀜
광고
위키 도구
위키 도구
특수 문서 목록
문서 도구
문서 도구
사용자 문서 도구
더 보기
여기를 가리키는 문서
가리키는 글의 최근 바뀜
문서 정보
문서 기록