신경망 분산 학습 편집하기 (부분)

===파라미터 서버(Parameter Server) 구조===
파라미터 서버 방식은 중앙 또는 분산된 서버 노드가 모델 파라미터를 저장하고, 여러 워커 노드가 기울기를 계산해 서버에 전송하면 서버가 이를 집계·갱신한 뒤 다시 워커에 배포하는 구조이다. 초기 분산 머신러닝 시스템에서 널리 사용되었으며, 동기식과 비동기식 두 방식 모두 지원할 수 있다. 그러나 노드 수가 증가할수록 서버에 통신과 연산이 집중되어 병목 현상이 발생하기 쉽고, 매우 대규모 GPU 클러스터에서는 확장성이 제한될 수 있다.