확률적 경사 하강법 편집하기 (부분)

=== 변형: RMSprop ===
RMSprop(Root Mean Square Propagation)은 확률적 경사 하강법에서 발생하는 진동과 느린 수렴 속도를 개선하기 위해 제안된 기법이다. 이 알고리즘은 각 파라미터마다 기울기의 제곱값을 지수적으로 평균 내어 저장하고, 이를 파라미터 업데이트 시 나눗값으로 사용한다.

RMSprop은 학습률을 자동으로 조절하는 효과를 가지며, 특히 손실 함수의 곡률이 각기 다른 축마다 다를 때(예: 비등방성 표면) 빠르게 수렴할 수 있도록 한다. 대부분의 딥러닝 프레임워크에서는 기본 최적화 알고리즘으로 지원되며, RNN이나 작은 배치 크기를 사용하는 환경에서 유리하게 작동한다.