LSTM 편집하기
IT위키
편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
최신판 | 당신의 편집 | ||
5번째 줄: | 5번째 줄: | ||
;RNN의 수식 표현 h<sub>t</sub> = f<sub>W</sub>(h<sub>t-1</sub>, x<sub>t</sub>) | ;RNN의 수식 표현 h<sub>t</sub> = f<sub>W</sub>(h<sub>t-1</sub>, x<sub>t</sub>) | ||
* 문장 구성 수 만큼 Hidden Layer 형성하여 매우 Deep한 구조 | * 문장 구성 수 만큼 Hidden Layer 형성하여 매우 Deep한 구조 | ||
* Recurrent에 따른 동일한 가중치(f<sub>W</sub>)가 곱해지게 되므로 아래 문제 발생 | |||
* f<sub>W</sub> < 1 인 경우, '''Vanishing Gradient''' | * f<sub>W</sub> < 1 인 경우, '''Vanishing Gradient''' | ||
* f<sub>W</sub> > 1 인 경우, '''Exploding Gradient''' | * f<sub>W</sub> > 1 인 경우, '''Exploding Gradient''' | ||
* 즉, 관련 정보와 그 정보를 사용하는 지점이 먼 경우 학습 능력 저하 | * 즉, 관련 정보와 그 정보를 사용하는 지점이 먼 경우 학습 능력 저하 | ||
** 장기 기억을 사용하지 못하고 단기 기억만을 사용 | ** 장기 기억을 사용하지 못하고 단기 기억만을 사용 | ||
* '''LSTM(Long Short Term Memory)는 이 문제를 해결''' | ** '''LSTM(Long Short Term Memory)는 이 문제를 해결''' | ||
== 구성 요소 == | == 구성 요소 == | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- |