경고: 로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다. 로그인하거나 계정을 생성하면 편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
편집을 취소할 수 있습니다.
이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
| 최신판 |
당신의 편집 |
| 3번째 줄: |
3번째 줄: |
| ;[[자연어 처리]] 언어 모델 | | ;[[자연어 처리]] 언어 모델 |
|
| |
|
| [[파일:BERT 아키텍처.jpeg|500px]] | | == 구분 == |
| | === 규칙/지식 기반 접근법 === |
| | ;Symbolic Approach |
| | * [Now] [Weather] [What] |
| | * 무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법 |
|
| |
|
| == 특징 == | | == 확률/통계 기반 접근법 === |
| * RNN을 사용하지 않는 Attention 모델
| | ;Statistical Approach |
| * 장점
| | * TF-IDF |
| ** 언어 이해의 우수성
| |
| * 단점 | |
| ** 계산 cost가 매우 큰 모델
| |
|
| |
|
| === 활성화 함수 === | | == 딥러닝 적용법 == |
| ;ReLU 보다 부드러운 형태인 GELU 적용
| | * 기존 접근법에 딥러닝 학습 적용 |
| * 음수에 대한 미분이 가능
| |
| [[파일:GELU.png|300px]]
| |
| | |
| == 주요 기술 ==
| |
| * WordPiece tokenizing
| |
| ** 접두사, 접미사를 구분
| |
| ** ex) playing, coming, loving → ##ing
| |
| ** ex) 서울특별시, 세종특별시, 성남시, 안양시 → ##특별시, ##시
| |
| * Multi-Head Attention
| |
| * Masked Attention
| |
