LSTM: 두 판 사이의 차이
IT위키
편집 요약 없음 |
(→구성 요소) |
||
(같은 사용자의 중간 판 하나는 보이지 않습니다) | |||
15번째 줄: | 15번째 줄: | ||
== 구성 요소 == | == 구성 요소 == | ||
[[파일:LSTM 개념도.png|600px]] | |||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- |
2020년 1월 26일 (일) 12:25 기준 최신판
- Long Short Term Memory
RNN의 문제[편집 | 원본 편집]
- RNN의 수식 표현 ht = fW(ht-1, xt)
- 문장 구성 수 만큼 Hidden Layer 형성하여 매우 Deep한 구조
- Recurrent에 따른 동일한 가중치(fW)가 곱해지게 되므로 아래 문제 발생
- fW < 1 인 경우, Vanishing Gradient
- fW > 1 인 경우, Exploding Gradient
- 즉, 관련 정보와 그 정보를 사용하는 지점이 먼 경우 학습 능력 저하
- 장기 기억을 사용하지 못하고 단기 기억만을 사용
- LSTM(Long Short Term Memory)는 이 문제를 해결
구성 요소[편집 | 원본 편집]
구성 요소 | 설명 |
---|---|
Forget Gate Layer |
|
Input Gate Layer |
|
Update Cell State |
|
Output Gate Layer |
|