미니배치 경사 하강법 편집하기

미니배치 경사 하강법(Mini-Batch Gradient Descent)은 머신러닝 및 딥러닝에서 전체 훈련 데이터를 일정한 크기의 소규모 집합으로 나눈 후, 각 집합(미니배치)을 사용하여 손실 함수의 기울기를 계산하고 파라미터를 갱신하는 최적화 알고리즘이다.
==개요==
미니배치 경사 하강법은 배치 경사 하강법과 확률적 경사 하강법(SGD)의 절충안으로, 계산 효율성과 수렴 안정성 사이의 균형을 목표로 한다. 일반적으로 배치 크기(batch size)는 16, 32, 64, 128 등으로 설정된다.
==작동 방식==
전체 훈련 데이터를 동일한 크기의 미니배치로 나눈 뒤, 다음과 같은 절차를 반복한다.
*미니배치 하나를 선택한다.
*해당 미니배치에 대해 순전파와 역전파를 수행하여 평균 기울기를 계산한다.
*계산된 기울기를 사용하여 모델의 파라미터를 갱신한다.
*모든 미니배치에 대해 이 과정을 반복하면 에포크 1회가 완료된다.
==특징==
*기울기 계산의 정확성과 계산 효율성을 동시에 확보할 수 있다.
*하드웨어 병렬화(GPU) 환경에서 매우 효과적으로 작동한다.
*적절한 미니배치 크기를 선택하면 일반화 성능이 향상될 수 있다.
*배치가 너무 작거나 크면 각각 SGD 또는 전체 배치 경사 하강법의 단점이 드러날 수 있다.
==장점과 단점==
*장점
**계산 속도와 안정성 사이에서 균형을 제공한다.
**학습이 빠르고 일반화 성능이 우수할 수 있다.
**다양한 최신 최적화 기법(Adam, RMSprop 등)과 쉽게 결합된다.
*단점
**배치 크기 선택이 모델 성능에 영향을 미칠 수 있다.
**미니배치 순서나 구성에 따라 수렴 경로가 달라질 수 있다.
**작은 배치일수록 수렴이 불안정할 수 있고, 큰 배치는 메모리 부담이 크다.
==비교==
*배치 경사 하강법은 전체 데이터를 사용하여 안정적인 수렴을 유도하나 계산량이 많다.
*확률적 경사 하강법은 빠르지만 진동이 심하고 수렴이 불안정하다.
*미니배치 경사 하강법은 두 방식의 장점을 절충하여 학습 효율성과 안정성을 모두 추구한다.
==같이 보기==
*[[경사 하강법]]
*[[배치 경사 하강법]]
*[[확률적 경사 하강법 (SGD)]]
*[[하이퍼파라미터]]
*[[학습률]]
==참고 문헌==
*Ian Goodfellow, Yoshua Bengio, Aaron Courville, 《Deep Learning》, MIT Press
*Aurélien Géron, 《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》, O'Reilly Media
==각주==
[[분류:인공지능]]
[[분류:딥 러닝]]