신경망 분산 학습 편집하기 (부분)

===모델 병렬(Model Parallelism)===
모델 병렬 학습은 하나의 신경망을 여러 장치에 나누어 저장하고 계산하는 방식이다. 단일 장치 메모리에 모델이 모두 들어가지 않거나, 특정 계층의 계산 비용이 매우 큰 경우에 사용된다. 계층별로 장치를 나누는 수직 분할(layer-wise partitioning) 방식과, 매트릭스 곱셈 연산을 여러 장치에 나눠 처리하는 텐서 병렬(tensor parallel) 방식 등이 있다. GPT 계열 대형 언어모델과 같이 수십억 개 이상의 파라미터를 가진 모델에서 모델 병렬이 필수적으로 활용된다.