안장점 (인공지능)
IT위키
더 많은 작업
안장점(saddle point)은 머신러닝 및 딥러닝에서 사용하는 손실 함수의 최적화 과정에서 등장하는, 기울기(gradient)가 0이지만 지역 최소값이나 지역 최대값은 아닌 지점을 가리킨다. 고차원 파라미터 공간에서는 지역 최소값보다 안장점이 훨씬 많아 최적화 경로에서 더욱 큰 영향을 미친다.
안장점은 수학적으로, 모든 방향에서 함수의 기울기가 0(정칙점)인 지점 중에서, 어떤 방향에서는 오르막이고 다른 방향에서는 내리막인 경우를 말한다. 예를 들어, 2차 함수 f(x, y) = x² − y²에서 (0, 0)은 x 방향에서는 최소, y 방향에서는 최대인 안장점이다.
딥러닝에서 손실 함수는 고차원 비볼록 함수이므로, 안장점이 지역 최소값보다 훨씬 자주 등장한다. 최적화 알고리즘이 안장점에 도달하면 기울기가 0에 가까워져 학습이 정체되는 문제가 발생할 수 있으며, 이는 마치 지역 최소값에 수렴한 것처럼 보일 수 있다.
- 확률적 경사 하강법(SGD)은 무작위성을 통해 안장점에서 벗어날 수 있는 가능성을 제공한다.
- 모멘텀, Adam, RMSprop 등의 최적화 기법은 안장점에서의 정체 현상을 줄이는 데 효과적이다.
- 고차 도함수 정보를 활용하는 최적화 기법은 안장점을 탐지하고 효과적으로 회피할 수 있다.
딥러닝 모델의 손실 함수가 정의되는 고차원 공간에서는, 지역 최소값보다 안장점이 최적화의 주요 장애물로 작용하는 경우가 많다. 따라서 현대의 최적화 알고리즘은 안장점 문제를 인식하고 이를 극복할 수 있도록 설계되어 있다.
- Yann Dauphin 외, “Identifying and attacking the saddle point problem in high-dimensional non-convex optimization”, arXiv, 2014
- Martin Arjovsky 외, “Saddle-free Hessian-free Optimization”, arXiv, 2015