RMSProp 편집하기 (부분)

==개념==
RMSProp은 [[AdaGrad]]의 변형 알고리즘으로, AdaGrad가 모든 과거 기울기의 제곱을 누적해 학습률이 지나치게 작아지는 문제를 보완하기 위해 고안되었다.  최근의 기울기 정보를 더 많이 반영하기 위해, 지수 이동평균(exponential moving average) 을 이용하여 기울기의 제곱평균을 계산한다.

수식으로 표현하면 다음과 같다.
 g_t = ∂L/∂W_t  
 E[g²]_t = ρ·E[g²]_{t-1} + (1-ρ)·g_t²  
 W_{t+1} = W_t - η·g_t / (√(E[g²]_t + ε))
여기서
*η : 기본 학습률 (learning rate)
*ρ : 감쇠율(decay rate, 일반적으로 0.9)
*ε : 수치적 안정성을 위한 작은 상수
이 방식으로 최근 기울기의 분산을 추적하여, 변화가 큰 파라미터는 학습률을 줄이고, 변화가 적은 파라미터는 학습률을 늘리는 방향으로 작동한다.