Argmin

argmin(argument of the minimum, 줄여서 “arg min” 또는 “argmin”)는 함수가 최소값을 갖는 지점(입력 변수의 값)을 나타내는 연산자이다.

정의

함수 \(f: X \to \mathbb{R}\)와 그 정의역의 부분집합 \(S \subseteq X\)가 주어졌을 때, \[ \arg\min_{x \in S} f(x) = \{\, x \in S \mid \forall\, s \in S,\; f(x) \le f(s) \} \] 로 정의된다. 즉, \(S\) 내에서 \(f(x)\)가 최소값을 갖는 모든 \(x\)의 집합이다.

이 정의는 argmax의 정의와 대칭적이며, 다음 관계가 성립한다는 점이 자주 언급된다: \[ \arg\min_{x\in S} f(x) = \arg\max_{x\in S} \bigl(-f(x)\bigr). \] 이 관계은 최적화를 하나의 문제로 바꾸어 생각할 때 유용하다.

성질 및 주의사항

• \(\arg\min\)는 최소값을 만드는 입력의 집합이다.
• 만약 유일한 점 \(x^*\)에서만 최소값이 성립한다면, \(\arg\min\)는 보통 단일 원소 집합 \(\{x^*\}\)으로 표현된다.
• 여러 지점에서 동일한 최소값이 나타나면, 그 모든 지점들이 \(\arg\min\)의 원소가 된다.
• 만약 함수가 최소값을 갖지 않는 경우라면, \(\arg\min\)는 공집합이 될 수 있다.
• 연속 함수가 유한 구간에서 정의되어 있다면, 극값 정리에 의해 최소값이 적어도 하나 존재하므로 \(\arg\min\)가 공집합이 아닌 경우가 많다.

예시

• \(\displaystyle \arg\min_{x \in \mathbb{R}} (x - 2)^2 = \{2\}\)
  • 이 함수는 \(x = 2\)에서 유일한 최소값을 갖는다.

• 이산 예: \(f(x)\)가 어떤 집합 \(\{1,2,3\}\) 위에서 모두 같은 값을 갖는다면,
  • \(\arg\min_{x \in \{1,2,3\}} f(x) = \{1,2,3\}\)

응용

• 최적화: 연속 또는 이산 변수에 대해 비용 함수(cost function)를 최소화하는 해를 찾을 때 \(\arg\min\) 사용
• 통계 및 머신러닝: 손실 함수(loss function)를 최소화하는 파라미터 추정
• 수치 해석 / 알고리즘 설계: 알고리즘이 여러 후보 해 중에서 비용이 가장 낮은 것을 선택할 때

예컨대, proximal operator의 정의에 \(\arg\min\)이 등장한다: \[ \mathrm{prox}_f(v) = \arg\min_{x \in \mathcal{X}} \left( f(x) + \tfrac{1}{2}\|x - v\|^2 \right) \] 즉, \(v\)를 기준으로 하는 비용 함수에 대해 최소값을 주는 \(x\)를 선택한다.

같이 보기

• argmax
• softargmax
• 파이썬 numpy argmax
• 손실 함수
• 극값 이론

참고 문헌

• Mark Schmidt, *Argmax and Max Calculus* (PDF 공개 자료)
• “Proximal operator”, Wikipedia