학습률 (인공지능) 편집하기

학습률(learning rate)은 머신러닝 및 딥러닝에서 모델의 매개변수를 업데이트할 때 사용하는 보폭(step size)을 결정하는 하이퍼파라미터이다. 학습률은 손실 함수의 기울기에 곱해져 파라미터 갱신의 크기를 조절하는 역할을 한다.
==정의 및 역할==
학습률은 최적화 알고리즘이 손실 함수를 최소화하기 위해 파라미터를 얼마나 크게 변경할지를 정하는 계수이다. 학습률이 너무 작으면 수렴 속도가 느려지고, 너무 크면 손실 함수가 최소값을 지나치거나 발산할 수 있다. 적절한 학습률 설정은 안정적이고 효율적인 학습을 위한 핵심 요소이다.
==중요성==
학습률은 경사 하강법 계열의 최적화 알고리즘에서 가장 중요한 하이퍼파라미터 중 하나이다. 학습률이 적절하지 않으면 모델이 과소적합되거나, 손실 값이 불안정하게 진동하거나, 학습이 전혀 진행되지 않을 수 있다. 일반적으로 학습 초기에는 큰 학습률을 사용하고, 학습이 진행됨에 따라 점차 줄이는 방식이 사용된다.
==조정 방식==
학습률은 다음과 같은 방식으로 조정할 수 있다.
*고정 학습률: 일정한 값으로 유지한다.
*감소 스케줄: 학습이 진행됨에 따라 점진적으로 감소시킨다.
*적응형 조정: 알고리즘이 학습률을 자동으로 조정한다. 대표적으로 RMSprop, Adam 등이 있다.
==하이퍼파라미터로서의 학습률==
학습률은 사전에 설정되는 하이퍼파라미터이며, 실험적으로 최적값을 찾는 것이 일반적이다. 학습률 탐색기(learning rate finder), 그리드 서치, 베이지안 최적화 등 다양한 방식으로 학습률을 튜닝할 수 있다. 적절한 값은 문제의 복잡도, 데이터 규모, 모델 구조, 초기화 방식 등에 따라 달라진다.
==같이 보기==
*[[하이퍼파라미터]]
*[[경사 하강법]]
==참고 문헌==
*Ian Goodfellow, Yoshua Bengio, Aaron Courville, 《Deep Learning》, MIT Press
*Aurélien Géron, 《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》, O'Reilly Media
==각주==
[[분류:인공지능]]