확률적 경사 하강법 편집하기

확률적 경사 하강법(Stochastic Gradient Descent, SGD)은 머신러닝 및 딥러닝에서 손실 함수를 최소화하기 위해 훈련 데이터 중 하나의 샘플만을 사용하여 매개변수를 업데이트하는 최적화 알고리즘이다.
==개요==
확률적 경사 하강법은 경사 하강법의 변형 기법으로, 전체 데이터셋이 아닌 단일 샘플을 기준으로 손실 함수의 기울기를 계산하고 그 결과를 즉시 반영해 파라미터를 갱신한다. '확률적'이라는 표현은 각 반복마다 선택되는 샘플이 무작위로 결정되기 때문에 붙은 명칭이다.
==작동 방식==
학습 데이터가 N개 있을 때, 에포크(epoch)마다 다음의 절차를 반복한다.
*훈련 샘플 하나를 무작위로 선택한다.
*해당 샘플에 대해 순전파와 역전파를 수행하여 기울기를 계산한다.
*계산된 기울기를 사용하여 파라미터를 즉시 갱신한다.
*전체 샘플에 대해 반복하면 에포크 1회가 완료된다.
==특징==
*매 반복마다 빠르게 파라미터를 갱신하므로 학습 속도가 빠르다.
*연산량이 적어 적은 자원으로도 학습이 가능하다.
*기울기 추정이 불안정하고 손실 함수의 진동이 심할 수 있다.
*불규칙한 경로를 따르기 때문에 특정 지점에 수렴하지 않고 계속 변동할 수 있다.
==장점과 단점==
*장점
**계산량이 적고 빠르게 초기 수렴이 가능하다.
**온라인 학습이나 실시간 학습에 적합하다.
**지역 최솟값을 피할 가능성이 높다.
*단점
**손실 함수가 불안정하게 진동하며 수렴이 늦을 수 있다.
**최적 지점 근처에서 정확한 수렴을 유도하기 어렵다.
**학습률 조절이 매우 중요하며, 고정된 학습률은 수렴을 방해할 수 있다.
==활용==
SGD는 다양한 신경망 구조에서 기본 최적화 알고리즘으로 사용되며, 다음과 같은 개선형 알고리즘의 기반이 된다.
*모멘텀(Momentum)
*Adam
*RMSprop
이들은 SGD의 단점을 보완하기 위해 고안된 방법들이다.
==같이 보기==
*[[경사 하강법]]
*[[배치 경사 하강법]]
*[[미니배치 경사 하강법]]
*[[하이퍼파라미터]]
*[[학습률]]
==참고 문헌==
*Ian Goodfellow, Yoshua Bengio, Aaron Courville, 《Deep Learning》, MIT Press
*Sebastian Raschka, 《Python Machine Learning》, Packt Publishing
==각주==
[[분류:인공지능]]
[[분류:딥 러닝]]