신경망 분산 학습 편집하기 (부분)

==통신량 최적화==
대규모 분산 학습에서는 통신 비용이 전체 학습 시간의 상당 부분을 차지하므로, 통신량을 줄이기 위한 다양한 기법이 연구되어 왔다.
*'''기울기 희소화(gradient sparsification)''': 크기가 큰 상위 k% 기울기만 전송하고 나머지는 축적하여 나중에 전송하거나 버리는 방식
*'''기울기 양자화(gradient quantization)''': 기울기를 저정밀도 비트수로 표현해 전송량을 줄이는 방식
*'''딥 기울기 압축(Deep Gradient Compression)''': 희소화, 양자화, 모멘텀 보정, 지역 기울기 누적 등을 결합해 통신량을 크게 줄이는 기법
*'''혼합 정밀도 학습(mixed precision training)''': 16비트 부동소수점 등을 활용하여 연산과 통신을 동시에 효율화하는 기법