확률적 경사 하강법 편집하기 (부분)

=== 변형: Adam ===
Adam(Adaptive Moment Estimation)은 모멘텀과 RMSprop을 결합한 방식으로, 확률적 경사 하강법의 대표적인 고급 최적화 알고리즘이다. 기울기의 1차 모멘트(평균)와 2차 모멘트(분산)를 동시에 추정하여 학습률을 조정한다.

Adam은 다음과 같은 특징을 갖는다.
*학습률을 각 파라미터마다 적응적으로 조정한다.
*초기 설정값에 민감하지 않고 대부분의 문제에서 잘 작동한다.
* 빠른 수렴 속도와 일반화 성능의 균형이 뛰어나며, 대부분의 딥러닝 모델에서 기본값으로 사용된다.
Adam은 복잡한 신경망 구조나 대규모 데이터셋에서도 안정적으로 학습이 가능하다는 점에서 널리 채택되고 있다.