우도

우도(likelihood, 가능도 또는 가능성)는 통계학에서 관찰된 데이터를 특정 모수(parameter) 값 하에서 볼 확률의 함수 형태로 본 개념이다.

정의

확률 분포가 모수 \(\theta\)에 의해 결정된다고 할 때, 관찰된 데이터 \(x\)가 주어졌을 때의 우도 함수는 다음과 같이 정의된다:

\[ \mathcal{L}(\theta \mid x) = f(x \mid \theta), \]

여기서 \(f(x \mid \theta)\)는 \(x\)가 모수 \(\theta\)하에서 발생할 확률 밀도 함수 또는 확률 질량 함수이다.

즉, 확률 분포를 \(\theta\) 고정 상태에서 \(x\)에 대한 확률로 보던 것을, 반대로 \(x\)가 주어졌을 때 모수 \(\theta\)를 변수로 보는 관점이다.

특징 및 해석

• 우도 함수는 확률이나 분포가 아니며, \(\theta\) 공간에서 정규화된 분포가 아님
• 우도 함수의 절댓값은 비교되지 않고, 보통 상대적인 크기 — 즉 모수 간의 비교 — 에 의미가 있다.
• 동일한 데이터 \(x\)에 대해, 두 모수 값 \(\theta_1, \theta_2\) 사이의 우도비 (likelihood ratio) \(\frac{\mathcal{L}(\theta_1 \mid x)}{\mathcal{L}(\theta_2 \mid x)}\) 가 비교 지표로 자주 사용된다.
• 여러 독립 관측치 \(x_1, x_2, \dots, x_n\)가 있을 경우, 전체 우도는 각 관측치 우도의 곱이 된다 (독립성 가정 하).

최대우도추정 (Maximum Likelihood Estimation, MLE)

우도 개념을 활용한 대표적 추정 방법이 최대우도추정법이다. 관찰된 데이터 \(x\)에 대해 가능한 \(\theta\) 값 중에서 우도 함수 \(\mathcal{L}(\theta \mid x)\)를 최대화하는 값을 모수의 추정값으로 삼는다. 즉,

\[ \hat\theta_{\mathrm{MLE}} = \arg\max_{\theta} \mathcal{L}(\theta \mid x) \]

가 되는 \(\hat\theta\)를 선택하는 것이다.

종종 우도 대신 로그 우도(log‑likelihood) 를 최대화하는 것이 계산상 더 편리하다. 로그 우도는 우도에 로그를 취한 함수로, 곱셈을 덧셈으로 바꿔주기 때문이다.

예시

• 동전 던지기: 앞면이 나올 확률을 \(p\)라 할 때, \(n\)번 던져 \(k\)번 앞면이 나왔다는 관측이 있을 경우 우도 함수는

\[ \mathcal{L}(p \mid k) = \binom{n}{k} p^k (1-p)^{n-k} \]

• 정규 분포: 관측치 \(x_1, \dots, x_n\)이 정규 분포 \(N(\mu, \sigma^2)\) 에서 나왔다고 가정할 경우, 우도 함수는

\[ \mathcal{L}(\mu, \sigma^2 \mid x_1,\dots,x_n) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(x_i - \mu)^2}{2 \sigma^2} \right) \]

관련 원칙 및 논점

• 우도 원칙 (Likelihood Principle) : 통계적 증거로서 관련 정보는 관측된 데이터에 대한 우도 함수의 형태만으로 결정된다는 주장이다.
• 우도 관점(statistics) vs 베이지안 관점: 베이지안 추정에서는 우도에 사전 분포(prior)를 곱해 사후 분포(posterior)를 만든다.
• 우도비 검정 (Likelihood Ratio Test)은 두 가설을 비교할 때 널리 쓰인다.

같이 보기

• 최대우도추정법
• 우도비 검정
• 베이지안 추정
• 우도 원칙
• 로그 우도