자연어 처리: 두 판 사이의 차이
IT위키
잔글 (문자열 찾아 바꾸기 - "분류:데이터/통계학" 문자열을 "분류:데이터 과학" 문자열로) |
편집 요약 없음 |
||
| 1번째 줄: | 1번째 줄: | ||
[[분류:데이터 과학]] | [[분류:데이터 과학]] | ||
;NLP, Natural Language Processing | ;NLP, Natural Language Processing | ||
;인간의 언어를 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만들거나 혹은 컴퓨터가 처리한 결과를 이해할 수 있는 언어로 표현하는 제반 기술 | ;인간의 언어를 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만들거나 혹은 컴퓨터가 처리한 결과를 이해할 수 있는 언어로 표현하는 제반 기술 | ||
== 접근법 구분 == | ==접근법 구분== | ||
=== 규칙/지식 기반 접근법 === | ===규칙/지식 기반 접근법=== | ||
;Symbolic Approach | ;Symbolic Approach | ||
=== 확률/통계 기반 접근법 === | *[Now] [Weather] [What] | ||
*무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법 | |||
===확률/통계 기반 접근법=== | |||
;Statistical Approach | ;Statistical Approach | ||
=== 딥러닝 적용법 === | *TF-IDF | ||
* 기존 접근법에 딥러닝 학습 적용 | |||
===딥러닝 적용법=== | |||
*기존 접근법에 딥러닝 학습 적용 | |||
==기술 구분== | |||
===NLU=== | |||
;Natural Language Understanding | ;Natural Language Understanding | ||
==== 과정 ==== | ====과정==== | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
! 기술 !! 설명 | !기술!!설명 | ||
|- | |- | ||
| 형태소 분석 || | |형태소 분석|| | ||
* 명사, 동사, 형용사, 조사 | *명사, 동사, 형용사, 조사 | ||
* 어간추출, 색인 및 벡터화 | *어간추출, 색인 및 벡터화 | ||
|- | |- | ||
| 구문 분석 || | |구문 분석|| | ||
* 명사구, 동사구, 형용사구 | *명사구, 동사구, 형용사구 | ||
* 문장 경계 인식, 구문간 의미 관계 파악 | *문장 경계 인식, 구문간 의미 관계 파악 | ||
|- | |- | ||
| 의미 분석 || | |의미 분석|| | ||
* 문장 의미 분석 | *문장 의미 분석 | ||
* 사용자 의도 파악 | *사용자 의도 파악 | ||
|- | |- | ||
| 담론 분석 || | |담론 분석|| | ||
* 문맥 이해 | *문맥 이해 | ||
|} | |} | ||
==== 기반 기술 ==== | ====기반 기술==== | ||
* [[워드 임베딩]], [[Word2Vec]] | |||
* [[Bag of Words]] | *[[워드 임베딩]], [[Word2Vec]] | ||
* [[TF-IDF]] | *[[Bag of Words]] | ||
* [[N-Gram]] | *[[TF-IDF]] | ||
* [[RNN]] | *[[N-Gram]] | ||
*[[RNN]] | |||
===NLG=== | |||
;Natural Language Generating | ;Natural Language Generating | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
! 기술 !! 설명 | !기술!!설명 | ||
|- | |- | ||
| 문장 계획 || | |문장 계획|| | ||
* 전달하고자 하는 의미 계획 | *전달하고자 하는 의미 계획 | ||
|- | |- | ||
| 어휘 선택 || | |어휘 선택|| | ||
* 전달하고자 하는 의미에 해당하는 어휘 선택 | *전달하고자 하는 의미에 해당하는 어휘 선택 | ||
|- | |- | ||
| 문장 생성 || | |문장 생성|| | ||
* 계획에 따라 어휘 나열 | *계획에 따라 어휘 나열 | ||
|- | |- | ||
| 담론 생성 || | |담론 생성|| | ||
* 문장 간 결합 | *문장 간 결합 | ||
|} | |} | ||
== 같이 보기 == | |||
* [[워드 임베딩]] | |||
* [[BERT]] | |||
2021년 9월 3일 (금) 13:55 기준 최신판
- NLP, Natural Language Processing
- 인간의 언어를 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만들거나 혹은 컴퓨터가 처리한 결과를 이해할 수 있는 언어로 표현하는 제반 기술
접근법 구분[편집 | 원본 편집]
규칙/지식 기반 접근법[편집 | 원본 편집]
- Symbolic Approach
- [Now] [Weather] [What]
- 무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법
확률/통계 기반 접근법[편집 | 원본 편집]
- Statistical Approach
- TF-IDF
딥러닝 적용법[편집 | 원본 편집]
- 기존 접근법에 딥러닝 학습 적용
기술 구분[편집 | 원본 편집]
NLU[편집 | 원본 편집]
- Natural Language Understanding
과정[편집 | 원본 편집]
| 기술 | 설명 |
|---|---|
| 형태소 분석 |
|
| 구문 분석 |
|
| 의미 분석 |
|
| 담론 분석 |
|
기반 기술[편집 | 원본 편집]
NLG[편집 | 원본 편집]
- Natural Language Generating
| 기술 | 설명 |
|---|---|
| 문장 계획 |
|
| 어휘 선택 |
|
| 문장 생성 |
|
| 담론 생성 |
|
