AdaGrad 옵티마이저 편집하기 (부분)

==개념==
기존 [[경사 하강법]](Gradient Descent)은 모든 파라미터에 동일한 학습률 η를 적용한다.  하지만 파라미터마다 기울기의 크기나 스케일이 다르기 때문에, 단일 학습률로는 효율적인 학습이 어렵다.  AdaGrad는 이를 보완하기 위해 각 파라미터별 누적 기울기의 제곱합을 기준으로 학습률을 자동 조정한다.

수식으로 표현하면 다음과 같다.
 g<sub>t</sub> = ∂L/∂W<sub>t</sub>  
 G<sub>t</sub> = G<sub>t-1</sub> + g<sub>t</sub><sup>2</sup>  
 W<sub>t+1</sub> = W<sub>t</sub> - η·g<sub>t</sub> / √(G<sub>t</sub> + ε)
여기서
*η : 기본 학습률 (learning rate)
*G<sub>t</sub> : 시점 t까지의 기울기 제곱 누적값
*ε : 분모 안정화를 위한 작은 상수 (보통 1e-8)
이 방식은 기울기가 자주 큰 파라미터의 학습률을 자동으로 줄이고,  자주 변하지 않는(희소한) 파라미터의 학습률은 상대적으로 높여준다.