LSTM 편집하기
IT위키
편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
최신판 | 당신의 편집 | ||
2번째 줄: | 2번째 줄: | ||
;Long Short Term Memory | ;Long Short Term Memory | ||
h<sub>t</sub> = f<sub>W</sub>(h<sub>t-1</sub>, x<sub>t</sub>) | |||
* h<sub>t</sub> = 새로운 상태 | |||
* f<sub>W</sub> = 파라미터 W에 대한 활성화 함수 | |||
* h<sub>t-1</sub> = 예전 상태 | |||
* x<sub>t</sub> = 현재 상태의 입력 벡터 | |||
== RNN의 문제 == | |||
* 문장 구성 수 만큼 Hidden Layer 형성하여 매우 Deep한 구조 | * 문장 구성 수 만큼 Hidden Layer 형성하여 매우 Deep한 구조 | ||
* Recurrent에 따른 동일한 가중치(f<sub>W</sub>)가 곱해지게 되므로 아래 문제 발생 | |||
* f<sub>W</sub> < 1 | * f<sub>W</sub> < 1 = Vanishing Gradient | ||
* f<sub>W</sub> > 1 | * f<sub>W</sub> > 1 = Exploding Gradient | ||
== 구성 요소 == | == 구성 요소 == | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- |