파이프드림 편집하기 (부분)

==개요==
파이프드림은 모델을 여러 개의 연속된 스테이지(stage)로 분할하고, 입력 미니배치를 더 작은 마이크로배치(micro-batch)로 나누어 각 스테이지가 동시에 서로 다른 연산을 수행할 수 있도록 파이프라인을 구성한다. 이를 통해 각 장치의 유휴 시간(bubble)을 줄이고 모델 병렬 환경에서 발생하는 병목을 완화한다. 또한 가중치 버전 관리(weight versioning)를 통해 파이프라인 병렬에서 흔히 발생하는 가중치 시차(stale weight) 문제를 해결하는 것이 특징이다.