신경망 분산 학습
신경망 분산 학습(영어: distributed training of neural networks)은 인공신경망 모델을 여러 컴퓨팅 노드(예: GPU, 서버)에 분산시켜 동시에 학습함으로써 학습 속도를 높이고 더 큰 모델과 데이터셋을 다루기 위한 기술이다.
개요
신경망 분산 학습은 단일 장치의 메모리와 연산 능력으로 처리하기 어려운 대규모 데이터셋과 딥러닝 모델을 효율적으로 학습하기 위해 등장하였다. 분산 학습 환경에서는 여러 장치가 서로 다른 데이터 조각을 처리하거나, 모델의 서로 다른 부분을 담당하면서 병렬로 순전파와 역전파를 수행하고, 통신을 통해 기울기와 파라미터를 동기화한다. 주요 목표는 학습 시간 단축, 모델 및 배치 크기 확장, 자원 활용 효율 향상이다.
분산 학습의 기본 개념
신경망 분산 학습에서는 다음과 같은 요소들이 핵심적으로 고려된다.
- 연산 단위: GPU, TPU, CPU 노드 등 모델 및 데이터 연산을 담당하는 장치
- 통신 패턴: 파라미터 서버, 올 리듀스(All-Reduce) 등 기울기와 파라미터를 주고 받는 방식
- 일관성 모델: 동기식(synchronous) 또는 비동기식(asynchronous) 갱신 방식
- 오류 허용성: 일부 노드가 느려지거나 실패하더라도 학습을 지속할 수 있는지 여부
병렬화 방식
데이터 병렬(Data Parallelism)
데이터 병렬 학습은 가장 널리 쓰이는 방식으로, 동일한 신경망 모델을 여러 장치에 복제하고 서로 다른 미니배치를 각 장치에 나누어 처리하는 방법이다. 각 장치는 로컬 데이터에 대해 순전파와 역전파를 수행한 뒤, 계산된 기울기를 통신 연산(예: 올 리듀스)을 통해 평균 또는 합산하고, 동일한 파라미터 갱신을 적용받는다. 이 방식은 모델 구조를 변경할 필요가 없고 구현이 비교적 단순하며, 이미지 분류, 언어 모델 등 다양한 딥러닝 모델에 널리 적용된다.
모델 병렬(Model Parallelism)
모델 병렬 학습은 하나의 신경망을 여러 장치에 나누어 저장하고 계산하는 방식이다. 단일 장치 메모리에 모델이 모두 들어가지 않거나, 특정 계층의 계산 비용이 매우 큰 경우에 사용된다. 계층별로 장치를 나누는 수직 분할(layer-wise partitioning) 방식과, 매트릭스 곱셈 연산을 여러 장치에 나눠 처리하는 텐서 병렬(tensor parallel) 방식 등이 있다. GPT 계열 대형 언어모델과 같이 수십억 개 이상의 파라미터를 가진 모델에서 모델 병렬이 필수적으로 활용된다.
파이프라인 병렬(Pipeline Parallelism)
파이프라인 병렬은 모델을 여러 단계로 나누고, 서로 다른 미니배치 또는 마이크로배치(micro-batch)를 각 단계에 연속적으로 흘려보내는 방식이다. 한 장치에서 순전파를 수행하는 동안 다른 장치는 이전 단계의 역전파를 수행하도록 스케줄링함으로써 전체 파이프라인의 유휴 시간을 줄인다. PipeDream과 같은 프레임워크는 파이프라인 병렬의 스케줄링과 가중치 버전 관리(stale weight 문제 완화)를 통해 높은 하드웨어 활용률을 제공한다.
통신 패턴
파라미터 서버(Parameter Server) 구조
파라미터 서버 방식은 중앙 또는 분산된 서버 노드가 모델 파라미터를 저장하고, 여러 워커 노드가 기울기를 계산해 서버에 전송하면 서버가 이를 집계·갱신한 뒤 다시 워커에 배포하는 구조이다. 초기 분산 머신러닝 시스템에서 널리 사용되었으며, 동기식과 비동기식 두 방식 모두 지원할 수 있다. 그러나 노드 수가 증가할수록 서버에 통신과 연산이 집중되어 병목 현상이 발생하기 쉽고, 매우 대규모 GPU 클러스터에서는 확장성이 제한될 수 있다.
올 리듀스(All-Reduce) 기반 구조
올 리듀스 기반 분산 학습에서는 중앙 서버 없이 모든 노드가 서로 기울기를 교환하고 합산·평균한다. 링 올 리듀스(Ring All-Reduce)와 트리 기반 올 리듀스와 같은 알고리즘을 사용하면 통신량이 노드 간에 균등하게 분산되어 높은 확장성을 얻을 수 있다. 현대 딥러닝 프레임워크의 동기식 데이터 병렬 학습(PyTorch DistributedDataParallel, Horovod 등)은 대부분 올 리듀스 기반으로 구현된다.
동기식 및 비동기식 학습
동기식 학습
동기식 분산 학습에서는 모든 워커가 각자의 미니배치에 대한 기울기 계산을 마칠 때까지 기다린 뒤, 기울기를 집계하고 동일한 파라미터 업데이트를 적용한다. 이 방식은 단일 대형 배치와 동등한 학습 효과를 제공하지만, 가장 느린 워커가 전체 속도를 결정하는 스트래글러(straggler) 문제가 발생할 수 있다.
비동기식 학습
비동기식 분산 학습에서는 워커가 서로를 기다리지 않고, 계산이 끝나는 대로 서버나 다른 노드에 기울기를 전송해 파라미터를 갱신한다. 속도 측면에서는 유리하지만, 일부 워커가 오래된 파라미터를 사용해 기울기를 계산하는 정합성(consistency) 문제가 발생할 수 있어, 학습 안정성과 수렴 특성을 주의 깊게 설계해야 한다.
통신량 최적화
대규모 분산 학습에서는 통신 비용이 전체 학습 시간의 상당 부분을 차지하므로, 통신량을 줄이기 위한 다양한 기법이 연구되어 왔다.
- 기울기 희소화(gradient sparsification): 크기가 큰 상위 k% 기울기만 전송하고 나머지는 축적하여 나중에 전송하거나 버리는 방식
- 기울기 양자화(gradient quantization): 기울기를 저정밀도 비트수로 표현해 전송량을 줄이는 방식
- 딥 기울기 압축(Deep Gradient Compression): 희소화, 양자화, 모멘텀 보정, 지역 기울기 누적 등을 결합해 통신량을 크게 줄이는 기법
- 혼합 정밀도 학습(mixed precision training): 16비트 부동소수점 등을 활용하여 연산과 통신을 동시에 효율화하는 기법
프레임워크 및 라이브러리
신경망 분산 학습을 지원하는 주요 프레임워크와 라이브러리는 다음과 같다.
- TensorFlow의 분산 전략(TF Distributed, MirroredStrategy, ParameterServerStrategy 등)
- PyTorch Distributed 및 DistributedDataParallel(DDP)
- Horovod: 여러 프레임워크에서 올 리듀스 기반 분산 학습을 지원하는 라이브러리
- DeepSpeed, Megatron-LM: 대규모 언어모델을 위한 모델·파이프라인 병렬 전용 라이브러리
응용 분야
신경망 분산 학습은 다음과 같은 분야에서 광범위하게 활용된다.
- 수백만~수십억 개의 파라미터를 가진 대형 언어모델과 비전 모델 학습
- 자율주행, 추천 시스템, 음성 인식 등 대규모 로그·센서 데이터 처리
- 대규모 하이퍼파라미터 탐색과 메타학습
- 과학 계산, 기후 모델링 등 시뮬레이션 데이터 기반 딥러닝
같이 보기
참고 문헌
- Narayanan, Deepak, et al. PipeDream: Generalized pipeline parallelism for DNN training. Proceedings of the 27th ACM Symposium on Operating Systems Principles (2019).
- Sergeev, Alexander; Del Balso, Mike. Horovod: Fast and Easy Distributed Deep Learning in TensorFlow. arXiv preprint arXiv:1802.05799 (2018).
- Lin, Yujun, et al. Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training. arXiv preprint arXiv:1712.01887 (2017).
