확률적 경사 하강법 편집하기 (부분)

=== 변형: 모멘텀 ===
확률적 경사 하강법은 반복 과정에서 샘플 단위로 기울기를 계산하기 때문에, 손실 함수의 경로가 불안정하게 진동하거나 수렴 속도가 느려질 수 있다. 이러한 문제를 완화하기 위한 방법 중 하나가 모멘텀(momentum) 기법이다.

모멘텀은 현재의 기울기뿐만 아니라 이전 단계의 기울기를 일정 비율 반영하여 파라미터를 업데이트한다. 이를 통해 경사 방향을 보다 일관성 있게 유지하고, 손실 함수 표면에서 불필요한 진동을 줄이며 수렴 속도를 향상시킬 수 있다.

일반적으로 모멘텀 기법은 다음과 같은 방식으로 작동한다.
*과거 기울기를 누적하여 현재 기울기에 더해준다.
*누적 비율을 조절하는 하이퍼파라미터 s는 0과 1 사이의 값으로, 보통 0.9에 가깝게 설정한다.
이 기법을 적용한 경우, 수렴 경로가 더욱 부드럽고 빠르며, 특히 협곡 구조의 손실 함수 지형에서 효과적이다.