RNN: Difference between revisions
From IT Wiki
No edit summary |
No edit summary |
||
| Line 2: | Line 2: | ||
;Recurrent Neural Network | ;Recurrent Neural Network | ||
;내부적으로 순환(recurrent) 되는 구조를 이용하여, 순서(sequence)가 있는 데이터를 처리하는데 강점을 가진 신경망 | ;내부적으로 순환(recurrent) 되는 구조를 이용하여, 순서(sequence)가 있는 데이터를 처리하는데 강점을 가진 신경망 | ||
== 개요 == | |||
=== 순서가 있는 데이터 === | |||
;같은 데이터라도 순서에 따라 의미가 달라지는 특성을 가진 데이터 | |||
* ex) 문장1: I google at work vs 문장2: I work at google | |||
** 문장1에선 google이 동사, 문장2에선 google이 명사 | |||
* 주로 자연어 처리에서 많이 사용됨 | * 주로 자연어 처리에서 많이 사용됨 | ||
* 은닉층에서의 순환구조를 통해 이전 데이터와 이후 데이터를 연결시켜 분석 가능 | * 은닉층에서의 순환구조를 통해 이전 데이터와 이후 데이터를 연결시켜 분석 가능 | ||
[[파일:RNN.png|600px]] | [[파일:RNN.png|600px]] | ||
=== 수식 표현 === | |||
;h<sub>t</sub> = f<sub>W</sub>(h<sub>t-1</sub>, x<sub>t</sub>) | |||
* h<sub>t</sub> = 새로운 상태 | |||
* f<sub>W</sub> = 파라미터 W에 대한 활성화 함수 | |||
* h<sub>t-1</sub> = 예전 상태 | |||
* x<sub>t</sub> = 현재 상태의 입력 벡터 | |||
== 활용 == | == 활용 == | ||
Latest revision as of 11:52, 26 January 2020
- Recurrent Neural Network
- 내부적으로 순환(recurrent) 되는 구조를 이용하여, 순서(sequence)가 있는 데이터를 처리하는데 강점을 가진 신경망
개요[edit | edit source]
순서가 있는 데이터[edit | edit source]
- 같은 데이터라도 순서에 따라 의미가 달라지는 특성을 가진 데이터
- ex) 문장1: I google at work vs 문장2: I work at google
- 문장1에선 google이 동사, 문장2에선 google이 명사
- 주로 자연어 처리에서 많이 사용됨
- 은닉층에서의 순환구조를 통해 이전 데이터와 이후 데이터를 연결시켜 분석 가능
수식 표현[edit | edit source]
- ht = fW(ht-1, xt)
- ht = 새로운 상태
- fW = 파라미터 W에 대한 활성화 함수
- ht-1 = 예전 상태
- xt = 현재 상태의 입력 벡터
활용[edit | edit source]
LSTM[edit | edit source]
- Long Short Term Memory
- 대표적인 RNN 알고리즘
