예측 부호화

Predictive coding(예측 부호화, 혹은 predictive processing)는 뇌가 감각 입력을 단순히 수동적으로 받아들이는 것이 아니라, 내부 모델을 통해 감각 입력을 예측하고, 실제 입력과 예측 간의 차이(예측 오차)를 이용해 내부 표현과 모형을 지속적으로 수정함으로써 지각 및 인지를 수행한다는 이론이다

개념 및 기본 원리

Predictive coding의 핵심 가정은 다음과 같다:

• 뇌는 계층적 구조(hierarchical structure)를 가지며, 상위 계층은 하위 계층의 활동을 예측(prediction)한다.
• 각 계층에서는 예측 신호(prediction)와 실제 감각 신호(sensory input)의 차이를 나타내는 예측 오차(prediction error)를 계산한다.
• 그 예측 오차는 상향(bottom‑up) 방향으로 전달되어 상위 계층의 내부 표현을 조정하고, 예측은 하향(top‑down) 방향으로 정보를 보낸다.
• 이러한 반복적 오차 교정 과정을 통해 내부 표현이 점차 수렴하게 된다
• 예측 오차는 단지 지각(inference)에만 쓰이는 것이 아니라, 학습(plasticity)에도 사용되어 신경망 가중치가 적응된다

또한, 예측 부호화 이론은 베이지안 뇌 가설(Bayesian brain hypothesis)과 밀접하게 연결되어 있으며, 예측 오차 최소화는 자유 에너지 최소화 관점으로 해석되기도 한다

주요 특징 및 변형

• 정밀도 가중치 (Precision weighting)
  • 예측 오차는 단순히 단순 차이만 반영되지 않고, 해당 오차가 얼마나 신뢰할 만한지(정밀도, precision)에 따라 가중되어 처리된다. 이는 주의(attention)와 연결되는 해석도 있다

• 기계학습과의 접목
  • Predictive coding은 일부 연구에서 역전파(backpropagation) 알고리즘과 유사한 방식으로 학습 신호를 전달할 수 있음이 제안되었다
  • 또 다른 연구에서는 CNN, RNN 구조에도 predictive coding 기반 학습이 가능하다는 결과가 제시되었다

장점과 한계

장점

• 상향/하향 정보를 모두 이용하는 효율적인 계층적 표현 학습
• 생물학적 타당성 측면에서 더 그럴듯한 신경 모델링 가능성
• 예측 오차와 학습을 동일한 틀에서 통합해 설명

한계 및 비판

• 뇌에서 실제로 예측 오차가 어떻게 계산되고 전달되는지는 명확하지 않다
• 깊거나 복잡한 네트워크 구조에 대해 실제 구현 및 확장성 문제
• 예측 오차 최소화가 과잉 일반화(over‑regularization)를 유발할 위험

응용 및 증거

• 인간 뇌의 반응 억제(repetition suppression) 현상은 predictive coding 이론의 예측과 부합한다는 해석이 있다
• 뇌영상 연구에서도 예측 부호화 계층 구조가 관찰된 바 있다

같이 보기

• 예측 부호화 신경망
• 자유 에너지 원리
• 적극적 추론
• 에너지 기반 모델