익명 사용자
로그인하지 않음
토론
기여
계정 만들기
로그인
IT 위키
검색
아파치 스파크 조인
편집하기 (부분)
IT 위키
이름공간
문서
토론
더 보기
더 보기
문서 행위
읽기
편집
원본 편집
역사
경고:
로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다.
로그인
하거나
계정을 생성하면
편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
스팸 방지 검사입니다. 이것을 입력하지
마세요
!
==조인 최적화 전략== Spark는 분산 환경에서 조인 연산의 성능과 효율성을 높이기 위해 다음과 같은 최적화 전략들을 제공한다. *Broadcast hash join (BHJ) **작은 데이터셋을 모든 작업 노드에 브로드캐스트하여 셔플 비용을 절감하고, 빠른 조인 연산을 수행한다. *Shuffle hash join (SHJ) **조인 키를 기준으로 데이터를 셔플한 후, 해시 테이블을 활용하여 조인을 수행하는 방식이다. *Shuffle sort merge join (SMJ) **셔플 후 데이터를 정렬하고 병합(merge)하여 조인을 수행하며, 큰 데이터셋 간 조인에 적합하다. *Broadcast nested loop join (BNLJ) **작은 데이터셋을 브로드캐스트하여, 반복적(nested loop)으로 조인하는 방식으로, 조인 키가 없거나 복잡한 조건이 있는 경우에 사용된다. *Shuffle-and-replicated nested loop join (Cartesian product join) **두 데이터셋 간 데카르트 곱을 계산하여 조인하는 방식으로, 조인 조건 없이 모든 행의 조합을 생성한다.
요약:
IT 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는
IT 위키:저작권
문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다.
저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소
편집 도움말
(새 창에서 열림)
둘러보기
둘러보기
대문
최근 바뀜
광고
위키 도구
위키 도구
특수 문서 목록
문서 도구
문서 도구
사용자 문서 도구
더 보기
여기를 가리키는 문서
가리키는 글의 최근 바뀜
문서 정보
문서 기록