경고: 로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다. 로그인하거나 계정을 생성하면 편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
편집을 취소할 수 있습니다.
이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
| 최신판 |
당신의 편집 |
| 2번째 줄: |
2번째 줄: |
| ;Long Short Term Memory | | ;Long Short Term Memory |
|
| |
|
| == [[RNN]]의 문제 == | | == RNN의 문제 == |
| ;RNN의 수식 표현 h<sub>t</sub> = f<sub>W</sub>(h<sub>t-1</sub>, x<sub>t</sub>)
| | * Vanishing Gradient |
| * 문장 구성 수 만큼 Hidden Layer 형성하여 매우 Deep한 구조
| | * Exploding Gradient |
| ** Recurrent에 따른 동일한 가중치(f<sub>W</sub>)가 곱해지게 되므로 아래 문제 발생 | |
| * f<sub>W</sub> < 1 인 경우, '''Vanishing Gradient'''
| |
| * f<sub>W</sub> > 1 인 경우, '''Exploding Gradient''' | |
| * 즉, 관련 정보와 그 정보를 사용하는 지점이 먼 경우 학습 능력 저하
| |
| ** 장기 기억을 사용하지 못하고 단기 기억만을 사용
| |
| * '''LSTM(Long Short Term Memory)는 이 문제를 해결'''
| |
| | |
| [[파일:RNN vs LSTM Cell State 개념도.png]]
| |
|
| |
|
| == 구성 요소 == | | == 구성 요소 == |
| [[파일:LSTM 개념도.png|600px]]
| |
| {| class="wikitable" | | {| class="wikitable" |
| |- | | |- |
