변분 자유 에너지

변분 자유 에너지(Variational Free Energy)는 베이지안 추론, 정보 이론, 인지 신경과학 등에서 사용되는 함수로, 관측된 데이터와 내부 생성 모델 간의 불일치를 정량화하는 수학적 척도이다.

• 자유 에너지 원리(Free Energy Principle)에서의 "자유 에너지"는 통계물리학적 개념이 아니라 이 변분 자유 에너지를 의미한다.

개념

변분 자유 에너지는 주어진 감각 입력(sensory input)에 대해 내부 모델이 예측한 분포와 실제 데이터 분포 사이의 괴리를 최소화하는 방식으로 정의된다. 이는 베이지안 추론의 근사 방법인 변분 추론(variational inference)에서 등장하며, 사후 확률(posterior distribution)을 근사하기 위한 목적 함수로 사용된다.

수학적으로, 변분 자유 에너지는 다음과 같이 표현된다:

\[ F[q] = D_{\mathrm{KL}}(q(z) || p(z|x)) - \log p(x) \]

또는, 모델의 evidence 하한(ELBO)와 관련하여 다음과 같은 형태로도 쓸 수 있다:

\[ F[q] = \mathbb{E}_{q(z)}[\log q(z) - \log p(x, z)] \]

여기서 \( q(z) \)는 근사 분포, \( p(x, z) \)는 생성 모델이며, \( D_{\mathrm{KL}} \)은 Kullback-Leibler 발산이다.

자유 에너지 원리와의 관계

자유 에너지 원리(FEP)는 생명체가 감각 입력에 대한 예측 오차를 줄이는 방향으로 작동하며, 이 과정은 변분 자유 에너지를 최소화하는 것으로 수학적으로 설명된다. 이 때 자유 에너지는 관측된 입력과 내부 모델 사이의 오차 신호를 측정하는 함수로 쓰이며, 시스템은 이 값을 줄이기 위해 내부 상태와 행위를 조정한다

정보 이론 및 기계 학습에서의 역할

변분 자유 에너지는 기계 학습 분야에서도 폭넓게 사용되며, 특히 다음과 같은 맥락에서 활용된다:

• 변분 오토인코더 (VAE): ELBO를 최대화하는 방식이 변분 자유 에너지 최소화와 동일
• 강화학습: 기대 자유 에너지(expected free energy) 개념이 정책 선택(policy selection)에 도입됨
• 베이지안 심층 신경망: 사후 근사와 불확실성 추정에 기반한 학습

특징

• 비지도 학습과 추론 문제에서 확률적 모델을 최적화하는 데 사용
• 사후 분포를 직접 계산하지 않고도 근사 추론이 가능
• 예측 부호화 및 능동 추론과 개념적으로 연결됨

한계

• 근사 분포 \( q(z) \)의 선택에 따라 성능과 수렴성이 크게 달라짐
• 계산적 비용과 샘플링 오류 문제 발생 가능
• 높은 차원의 데이터나 복잡한 모델에서는 최적화가 어려울 수 있음

같이 보기

• 자유 에너지 원리
• 예측 부호화
• 능동 추론
• 베이지안 뇌 가설
• 변분 추론

참고 문헌

The free‑energy principle: a unified brain theory?