안장점 (인공지능) 편집하기

안장점(saddle point)은 머신러닝 및 딥러닝에서 사용하는 손실 함수의 최적화 과정에서 등장하는, 기울기(gradient)가 0이지만 지역 최소값이나 지역 최대값은 아닌 지점을 가리킨다. 고차원 파라미터 공간에서는 지역 최소값보다 안장점이 훨씬 많아 최적화 경로에서 더욱 큰 영향을 미친다.
==정의==
안장점은 수학적으로, 모든 방향에서 함수의 기울기가 0(정칙점)인 지점 중에서, 어떤 방향에서는 오르막이고 다른 방향에서는 내리막인 경우를 말한다. 예를 들어, 2차 함수 f(x, y) = x² − y²에서 (0, 0)은 x 방향에서는 최소, y 방향에서는 최대인 안장점이다.
==최적화에서의 문제==
딥러닝에서 손실 함수는 고차원 비볼록 함수이므로, 안장점이 지역 최소값보다 훨씬 자주 등장한다. 최적화 알고리즘이 안장점에 도달하면 기울기가 0에 가까워져 학습이 정체되는 문제가 발생할 수 있으며, 이는 마치 지역 최소값에 수렴한 것처럼 보일 수 있다.
==완화 및 탈출 전략==
*확률적 경사 하강법(SGD)은 무작위성을 통해 안장점에서 벗어날 수 있는 가능성을 제공한다.
*모멘텀, Adam, RMSprop 등의 최적화 기법은 안장점에서의 정체 현상을 줄이는 데 효과적이다.
*고차 도함수 정보를 활용하는 최적화 기법은 안장점을 탐지하고 효과적으로 회피할 수 있다.
==중요성==
딥러닝 모델의 손실 함수가 정의되는 고차원 공간에서는, 지역 최소값보다 안장점이 최적화의 주요 장애물로 작용하는 경우가 많다. 따라서 현대의 최적화 알고리즘은 안장점 문제를 인식하고 이를 극복할 수 있도록 설계되어 있다.
==같이 보기==
*[[지역 최소값 (인공지능)]]
*[[전역 최소값 (인공지능)]]
*[[경사 하강법]]
*[[학습률 (인공지능)]]
==참고 문헌==
*Yann Dauphin 외, “Identifying and attacking the saddle point problem in high-dimensional non-convex optimization”, arXiv, 2014
*Martin Arjovsky 외, “Saddle-free Hessian-free Optimization”, arXiv, 2015
==각주==
[[분류:인공지능]]