대조적 헤비안 학습

대조적 헤비안 학습(Contrastive Hebbian Learning, CHL)은 전통적인 헤비안 학습 규칙을 확장한 방식으로, 출력 뉴런을 고정(clamp)한 상태와 자유 상태(free state)에서의 신경망 상태 차이를 이용해 가중치를 갱신하는 생물학적 학습 알고리즘이다.

개념 및 동작 방식

CHL은 두 단계(phase)를 거쳐 학습을 수행한다:

• 자유 상태 (Free phase): 입력만 고정하고 출력은 자유롭게 활성화가 흐르도록 놔두어 신경망이 안정 상태로 수렴하게 한다.
• 고정 상태 (Clamped phase): 출력 뉴런들을 목표 값(target)으로 고정하고, 내부 네트워크가 다시 안정 상태로 수렴하도록 한다.

가중치는 이 두 상태에서의 활성화 교차곱(cross‑product)의 차이에 비례하여 조정된다 — 즉, \[ \Delta w_{ij} \propto (x_i^{\text{clamped}} y_j^{\text{clamped}}) - (x_i^{\text{free}} y_j^{\text{free}}) \]

이 방식은 에너지 기반 모델의 최소화 관점과 잘 맞는다.

이론적 관계 및 응용

• CHL은 Backpropagation(역전파) 알고리즘과 수학적으로 동등한 성능을 보이는 경우가 있음이 증명된 바 있다
• CHL은 연속형 호프필드 네트워크(continuous Hopfield model)에 적용 가능하며, 다양한 활성화 함수 및 자기 연결(self‑connections)도 허용된다
• 최근에는 랜덤 피드백 가중치(Random Feedback Weights) 를 사용하는 변형도 제안되어, 시냅스 대칭성 가정을 완화한 버전이 연구되고 있다
• CHL, 예측 부호화(predictive coding), Equilibrium propagation 등은 공통적으로 에너지 기반 모델 프레임워크 내에서 해석될 수 있으며, 이들 간의 연결성 연구가 진행 중이다

장점과 한계

장점

• 학습 신호가 지역적(local)이고 국소적 활동만으로 가중치 갱신 가능하므로 생물학적 타당성 높음
• 역전파 없이 깊은 네트워크 학습 가능한 대안으로 연구됨
• 에너지 최소화 원리와 자연스럽게 연결 가능

한계 및 도전

• 자유 상태와 고정 상태 두 번의 안정 상태 수렴이 필요하므로 계산 비용이 큼
• 고정 상태와 자유 상태가 서로 다른 에너지 모드(mode)에 빠질 위험 존재
• 대규모, 복잡한 구조의 네트워크에 적용할 때 안정성 확보가 어려움

같이 보기

• 대조적 학습
• 예측 부호화 신경망
• 에너지 기반 모델
• 평형 전파