링 올 리듀스 편집하기 (부분)

===1. 리듀스-스캐터(Reduce-Scatter) 단계===
*각 노드는 자신의 텐서를 N개의 chunk로 나눈다.
*오른쪽 또는 왼쪽 이웃에게 하나의 chunk를 전달하고, 동시에 이웃으로부터 하나의 chunk를 받는다.
*받은 chunk와 자신의 해당 chunk를 더하여(reduce) 새로운 partial sum을 만든다.
*이 과정을 N-1번 반복하면, 각 노드는 전체 텐서의 일부 구간(1/N chunk)에 대해 합산된 결과를 가지게 된다.
[[파일:링 올 리듀스 동작 순서 3.png|섬네일|200x200픽셀|링 올 리듀스 동작 순서 3]]