헤비안 학습
IT 위키
헤비안 학습(Hebbian Learning)은 신경세포 간의 활동 상관관계에 기반하여 시냅스 강도를 조정하는 학습 규칙으로, 일반적으로 "함께 발화하는 뉴런들이 연결된다(neurons that fire together, wire together)"는 방식으로 요약된다.
개념 및 기본 원리[편집 | 원본 편집]
헤비안 학습은 두 뉴런이 동시에 활발히 활성화될 때 그 사이의 시냅스 연결이 강화된다는 원칙에 기반한다. 이 규칙은 신경가소성(synaptic plasticity)의 일부 메커니즘을 설명하는 가장 기초적인 모델이다.
수학적 형태로는 다음과 같이 표현된다: \[ \Delta w_{ij} = \eta \, x_i \, y_j \] 여기서 \( x_i \)는 입력 뉴런의 활성, \( y_j \)는 출력 뉴런의 활성, \(\eta\)는 학습률이다.
확장 및 변형[편집 | 원본 편집]
- 일반화된 헤비안 알고리즘 (Generalized Hebbian Algorithm, GHA): 주성분 분석(PCA) 방식으로 입력 데이터의 통계 구조를 학습하는 데 사용됨
- BCM 이론 (Bienenstock–Cooper–Munro rule): 활동 수준에 따라 시냅스 강화와 약화를 동적으로 조정
- 스파이크 타이밍 의존 가소성 (Spike-Timing Dependent Plasticity, STDP): 발화 타이밍의 상대적 차이에 기반해 시냅스를 조정하는 규칙
장점 및 한계[편집 | 원본 편집]
장점[편집 | 원본 편집]
- 단순하고 지역적(local) 규칙으로 구현 가능
- 생물학적 타당성이 비교적 높음
- 비지도 학습 형태로 입력의 통계적 특성을 반영 가능
한계[편집 | 원본 편집]
- 시냅스 강도가 무한히 증가할 수 있어 제어 기작이 필요
- 억제 메커니즘이 없을 경우 과도한 연결 강화 발생 가능
- 출력 오차를 고려하지 않기 때문에 지도 학습에는 부적합
응용 및 현대 연구[편집 | 원본 편집]
- 초기 인공신경망과 연관된 학습 메커니즘으로 사용되었으며, Hopfield 네트워크 등 기억 기반 모델에서 채택되었다.
- 최근에는 깊은 신경망에서도 헤비안 학습을 적용하려는 시도가 있으며, Hebbian convolutional neural networks 구조도 제안되었다 [1]
- 억제 메커니즘과 결합한 inhibitory Hebbian learning 방식도 연구되고 있다 [2]
