배치 (인공지능) 편집하기

배치(Batch)는 딥러닝 또는 머신러닝 모델 훈련 시, 한 번의 가중치 갱신을 위해 처리하는 데이터 샘플의 묶음을 의미하는 하이퍼파라미터이다.
==정의==
배치 크기(batch size)는 모델에 입력되어 순전파(forward pass)와 역전파(backward pass)를 통해 한 번의 가중치 업데이트가 이루어지기 위해 처리하는 훈련 샘플의 수를 나타낸다. 즉, 한 iteration에서 사용되는 데이터의 개수이다.
==종류==
*'''전체 배치 경사하강법 (Batch Gradient Descent)''': 전체 훈련 데이터를 한 번에 처리한 뒤 가중치를 업데이트한다.
*'''확률적 경사하강법 (Stochastic Gradient Descent, SGD)''': 샘플 하나로 가중치를 매번 업데이트한다.
*'''미니배치 경사하강법 (Mini-Batch Gradient Descent)''': 배치 크기를 1보다 크고 전체 데이터보다 작게 설정하여, 일정 크기 단위로 나눠 가중치 갱신을 수행한다.
==역할 및 영향==
배치 크기는 학습 속도, 메모리 사용량, 학습 안정성 등에 영향을 미친다:
*'''큰 배치 크기는''' 병렬 처리 효율을 높이고 per epoch 처리 속도를 빠르게 하지만, 과도하게 크면 일반화 성능 저하(일명 generalization gap)를 유발할 수 있다.
*'''작은 배치 크기는''' 메모리 부담이 적고 희미한(noisy) 경사로 일반화 성능 향상에 도움을 줄 수 있지만 학습 속도가 느려질 수 있다.
*전형적으로 많이 사용하는 배치 크기 범위는 2에서 128 사이이며, 하드웨어 사양에 따라 조정된다.
==배치와 관련된 용어==
*[[이터레이션 (인공지능)|Iteration (반복)]]: 한 배치를 처리하고 가중치를 한 번 업데이트하는 과정을 하나의 iteration이라고 한다.
*[[에포크 (인공지능)|Epoch (에포크)]]: 전체 훈련 데이터를 한 번 모두 네트워크에 통과시킨 과정을 하나의 epoch라 한다. 일반적으로 epoch당 iterations 수는 전체 샘플 수를 배치 크기로 나눈 값이다.
*'''추론 시 배치''': 모델 추론(inference) 시에도 여러 입력을 동시에 처리하기 위해 배치 단위 입력을 사용하는 경우가 있다.
==같이 보기==
*[[하이퍼파라미터]]
*[[경사하강법]]
*[[일반화 간극 문제]]
==각주==
[[분류:인공지능]]