신경망 분산 학습 편집하기 (부분)

==병렬화 방식==
===데이터 병렬(Data Parallelism)===
데이터 병렬 학습은 가장 널리 쓰이는 방식으로, 동일한 신경망 모델을 여러 장치에 복제하고 서로 다른 미니배치를 각 장치에 나누어 처리하는 방법이다. 각 장치는 로컬 데이터에 대해 순전파와 역전파를 수행한 뒤, 계산된 기울기를 통신 연산(예: 올 리듀스)을 통해 평균 또는 합산하고, 동일한 파라미터 갱신을 적용받는다. 이 방식은 모델 구조를 변경할 필요가 없고 구현이 비교적 단순하며, 이미지 분류, 언어 모델 등 다양한 딥러닝 모델에 널리 적용된다.
===모델 병렬(Model Parallelism)===
모델 병렬 학습은 하나의 신경망을 여러 장치에 나누어 저장하고 계산하는 방식이다. 단일 장치 메모리에 모델이 모두 들어가지 않거나, 특정 계층의 계산 비용이 매우 큰 경우에 사용된다. 계층별로 장치를 나누는 수직 분할(layer-wise partitioning) 방식과, 매트릭스 곱셈 연산을 여러 장치에 나눠 처리하는 텐서 병렬(tensor parallel) 방식 등이 있다. GPT 계열 대형 언어모델과 같이 수십억 개 이상의 파라미터를 가진 모델에서 모델 병렬이 필수적으로 활용된다.
===파이프라인 병렬(Pipeline Parallelism)===
파이프라인 병렬은 모델을 여러 단계로 나누고, 서로 다른 미니배치 또는 마이크로배치(micro-batch)를 각 단계에 연속적으로 흘려보내는 방식이다. 한 장치에서 순전파를 수행하는 동안 다른 장치는 이전 단계의 역전파를 수행하도록 스케줄링함으로써 전체 파이프라인의 유휴 시간을 줄인다. PipeDream과 같은 프레임워크는 파이프라인 병렬의 스케줄링과 가중치 버전 관리(stale weight 문제 완화)를 통해 높은 하드웨어 활용률을 제공한다.