심층 신뢰 신경망

심층 신뢰 신경망(Deep Belief Network, DBN)은 확률적 은닉 유닛 층을 여러 겹 쌓은 생성형 인공 신경망으로, 맨 위 두 층은 무방향 연결의 연상 기억을 이루고 그 아래 층들은 위에서 아래로 향하는 방향 연결을 가지며, 층마다 제한된 볼츠만 머신(RBM)으로 차례로 사전학습하는 모델이다.

개요

2006년 제프리 힌턴(Geoffrey Hinton), 사이먼 오신데로, 이화이 테(Yee-Whye Teh)가 논문 「A fast learning algorithm for deep belief nets」에서 제안했다. 그전까지 은닉층이 많은 신경망은 역전파만으로는 잘 학습되지 않았는데, 이 논문은 층을 한 번에 하나씩 탐욕적으로(greedy layer-wise) 학습하는 빠른 알고리즘을 보이고, 그렇게 얻은 가중치를 초깃값으로 삼아 전체를 미세조정하면 손글씨 숫자 이미지와 레이블의 결합 분포를 잘 모델링하는 생성 모델이 된다고 보고했다. 이 생성 모델은 당시 최고 수준의 판별 모델보다 숫자 분류를 더 잘했다.

같은 해 힌턴과 살라쿠트디노프는 RBM 을 쌓아 사전학습한 깊은 오토인코더가 주성분 분석보다 훨씬 좋은 저차원 표현을 얻는다는 결과를 냈다. 두 연구가 깊은 신경망을 실제로 학습할 수 있음을 보여 딥 러닝이 다시 주목받는 계기가 되었다.

구조와 학습

• 구성 단위 - 제한된 볼츠만 머신은 가시층과 은닉층 두 층으로 된 무방향 확률 모델로, 같은 층 안의 유닛끼리는 연결이 없다. 대조 발산(contrastive divergence)으로 빠르게 학습한다.
• 쌓기 - 첫 RBM 을 입력 데이터로 학습한 뒤, 그 은닉층의 활성값을 다음 RBM 의 입력으로 삼아 또 학습한다. 이렇게 층을 하나씩 올린다.
• 미세조정 - 쌓은 망 전체를 wake-sleep 알고리즘의 변형으로 생성 모델로서 조정하거나, 맨 위에 출력층을 붙여 역전파로 분류기로 조정한다.
• 레이블 없이 사전학습할 수 있으므로 비지도 학습과 지도 학습을 결합한 방식이다.

위치와 쇠퇴

DBN 은 신경망 기반 기계학습 모델이며 생성 모델이다. 2010년대에 ReLU 활성화, 좋은 가중치 초기화, 드롭아웃, GPU 와 대규모 데이터가 갖춰지면서 사전학습 없이도 깊은 망을 바로 역전파로 학습할 수 있게 되어, 지금은 합성곱 신경망, 트랜스포머 등에 자리를 내주었다.

다른 모델과 구별하기

모델	신경망 기반	성격
DBN	예	RBM 을 쌓은 생성 모델
변분 오토인코더(VAE)	예	인코더·디코더로 잠재 분포를 학습하는 생성 모델
GAN	예	생성자와 판별자를 경쟁시키는 생성 모델
서포트 벡터 머신(SVM)	아니오	마진을 최대화하는 초평면을 찾는 커널 기반 분류기

• SVM 은 신경망이 아니다. 층과 뉴런, 역전파 없이 서포트 벡터와 커널 함수로 결정 경계를 정한다.

같이 보기

• 인공 신경망
• 딥 러닝
• 오토인코더
• 변분 오토인코더
• GAN