아파치 스파크 셔플링 편집하기 (부분)

==셔플링을 최소화하는 방법==
셰플링을 최소화하거나 효율적으로 처리하려면 몇 가지 방법을 고려할 수 있다:
*'''적절한 연산 사용''': reduceByKey와 같은 연산은 groupByKey보다 효율적으로 데이터를 처리할 수 있다. reduceByKey는 파티션 내에서 먼저 값을 병합한 후 셔플링을 진행하기 때문에, 불필요한 데이터 이동을 줄일 수 있다.
*'''파티션 수 조정''': 셔플링을 처리하는 과정에서 파티션 수를 조정하여 최적화할 수 있다. 예를 들어, 너무 많은 파티션이 존재하면 셔플링 비용이 증가할 수 있다.
*'''persist 또는 cache 사용''': 셔플링을 여러 번 반복해야 하는 경우, 중간 데이터를 캐싱하여 I/O를 줄일 수 있다.
*'''shufflePartitions 설정''': 스파크의 기본 셔플 파티션 수를 설정하여 성능을 최적화할 수 있다.