깁스 분포

깁스 분포(Gibbs distribution, Gibbs measure)는 통계역학, 확률 이론, 기계 학습 등에서 많이 쓰이는 확률 분포로, 상태의 에너지(또는 비용)에 따라 확률을 배정하는 지수 형태 확률 분포이다.

정의

깁스 분포는 상태 공간 \(\mathcal{X}\) 위에서 정의되고, 각 상태 \(x \in \mathcal{X}\)에 대응하는 에너지 함수 \(E(x)\)가 있을 때 다음과 같은 꼴을 가진다:

\[ P(x) = \frac{1}{Z} \exp\bigl( -\beta\, E(x) \bigr) \]

여기서

• \(\beta = \frac{1}{k_B T}\)는 역온도(inverse temperature), \(k_B\)는 볼츠만 상수, \(T\)는 절대온도이다.
• \(Z = \sum_{x \in \mathcal{X}} \exp(-\beta E(x))\)는 분배 함숫값(partition function)으로, 확률 분포로 정규화하기 위한 상수이다.
• 상태 공간이 연속일 경우에는 합(sum)이 적분(integral) 형태로 바뀐다.

이 분포는 통계역학의 정준 앙상블(canonical ensemble)에서 온도 \(T\) 하에 시스템이 특정 마이크로상태 \(x\)를 가질 확률을 나타낸다.

성질 및 특징

• 낮은 에너지 \(E(x)\)를 갖는 상태는 높은 확률을 갖고, 높은 에너지를 갖는 상태는 낮은 확률을 갖는다.
• \(\beta\) (또는 온도 \(T\))가 클수록 분포이 넓어지고 (모든 상태이 거의 균등 확률이 됨), \(\beta\)가 작아지면 극단적으로 최소 에너지 상태 쪽으로 확률이 집중된다.
• 지수 형태 분포이므로 많은 모델에서 자연스럽게 표현할 수 있다.
• 무한한 시스템이나 상호작용이 있는 시스템에서는 Gibbs measure 개념이 더 일반적인 형태로 확장된다.
• 마코프 성질(Markov property)을 만족하는 확률 분포가 정(positive) 조건과 결합되면, 해머슬리-클리포드 정리(Hammersley–Clifford theorem)에 의해 해당 분포는 깁스 분포의 형태로 표현될 수 있다.

응용

• 에너지 기반 모델(Energy-based models): 머신 러닝에서 확률 모델을 구성할 때, 상태 에너지를 정의하고 깁스 분포을 기준 분포로 사용
• 마르코프 랜덤 필드(Markov Random Fields) / 조건부 랜덤 필드(CRF): 그래프 구조 확률 모델에서 국부 에너지 함수로 깁스 분포를 활용
• 시뮬레이티드 어닐링(Simulated Annealing): 온도를 점차 낮추면서 깁스 분포를 따라 샘플링하여 전역 최적화 문제를 푸는 알고리즘
• 샘플링 알고리즘: 메트로폴리스-해이스팅스, 깁스 샘플링 등 MCMC 기법에서 표적 분포로 깁스 분포를 사용

확장 및 일반화

• 부분적 상호작용 모델: 에너지 함수가 국소 상호작용 항들의 합으로 표현되는 경우, 깁스 분포이 국소 클리크(clique) 구조를 반영하여 분해될 수 있다.
• 무한 시스템: 유한 상태 공간을 넘어 격자(lattice) 등 무한 구조에서는 Gibbs measure 개념이 필요하다.
• 외부 조건(boundary condition)과 경계 효과(boundary effects)에 따라 여러 Gibbs 상태가 있을 수 있다 (상전이 현상)

같이 보기

• Boltzmann 분포
• 에너지 기반 모델
• 마르코프 랜덤 필드
• 깁스 샘플링