배치 (인공지능)
IT 위키
배치(Batch)는 딥러닝 또는 머신러닝 모델 훈련 시, 한 번의 가중치 갱신을 위해 처리하는 데이터 샘플의 묶음을 의미하는 하이퍼파라미터이다.
정의[편집 | 원본 편집]
배치 크기(batch size)는 모델에 입력되어 순전파(forward pass)와 역전파(backward pass)를 통해 한 번의 가중치 업데이트가 이루어지기 위해 처리하는 훈련 샘플의 수를 나타낸다. 즉, 한 iteration에서 사용되는 데이터의 개수이다.
종류[편집 | 원본 편집]
- 전체 배치 경사하강법 (Batch Gradient Descent): 전체 훈련 데이터를 한 번에 처리한 뒤 가중치를 업데이트한다.
- 확률적 경사하강법 (Stochastic Gradient Descent, SGD): 샘플 하나로 가중치를 매번 업데이트한다.
- 미니배치 경사하강법 (Mini-Batch Gradient Descent): 배치 크기를 1보다 크고 전체 데이터보다 작게 설정하여, 일정 크기 단위로 나눠 가중치 갱신을 수행한다.
역할 및 영향[편집 | 원본 편집]
배치 크기는 학습 속도, 메모리 사용량, 학습 안정성 등에 영향을 미친다:
- 큰 배치 크기는 병렬 처리 효율을 높이고 per epoch 처리 속도를 빠르게 하지만, 과도하게 크면 일반화 성능 저하(일명 generalization gap)를 유발할 수 있다.
- 작은 배치 크기는 메모리 부담이 적고 희미한(noisy) 경사로 일반화 성능 향상에 도움을 줄 수 있지만 학습 속도가 느려질 수 있다.
- 전형적으로 많이 사용하는 배치 크기 범위는 2에서 128 사이이며, 하드웨어 사양에 따라 조정된다.
배치와 관련된 용어[편집 | 원본 편집]
- Iteration (반복): 한 배치를 처리하고 가중치를 한 번 업데이트하는 과정을 하나의 iteration이라고 한다.
- Epoch (에포크): 전체 훈련 데이터를 한 번 모두 네트워크에 통과시킨 과정을 하나의 epoch라 한다. 일반적으로 epoch당 iterations 수는 전체 샘플 수를 배치 크기로 나눈 값이다.
- 추론 시 배치: 모델 추론(inference) 시에도 여러 입력을 동시에 처리하기 위해 배치 단위 입력을 사용하는 경우가 있다.
