자연어 처리: Difference between revisions

From IT Wiki
No edit summary
No edit summary
 
(2 intermediate revisions by one other user not shown)
Line 1: Line 1:
[[분류:데이터 분석]]
[[분류:데이터 과학]]
 
;NLP, Natural Language Processing
;NLP, Natural Language Processing
;인간의 언어를 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만들거나 혹은 컴퓨터가 처리한 결과를 이해할 수 있는 언어로 표현하는 제반 기술
;인간의 언어를 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만들거나 혹은 컴퓨터가 처리한 결과를 이해할 수 있는 언어로 표현하는 제반 기술


== 접근법 구분 ==
==접근법 구분==
=== 규칙/지식 기반 접근법 ===
===규칙/지식 기반 접근법===
 
;Symbolic Approach
;Symbolic Approach
* [Now] [Weather] [What]
* 무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법


=== 확률/통계 기반 접근법 ===
*[Now] [Weather] [What]
*무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법
 
===확률/통계 기반 접근법===
 
;Statistical Approach
;Statistical Approach
* TF-IDF


=== 딥러닝 적용법 ===
*TF-IDF
* 기존 접근법에 딥러닝 학습 적용
 
===딥러닝 적용법===
 
*기존 접근법에 딥러닝 학습 적용
 
==기술 구분==
===NLU===


== 기술 구분 ==
=== NLU ===
;Natural Language Understanding
;Natural Language Understanding


==== 과정 ====
====과정====
{| class="wikitable"
{| class="wikitable"
|-
|-
! 기술 !! 설명
!기술!!설명
|-
|-
| 형태소 분석 ||  
|형태소 분석||
* 명사, 동사, 형용사, 조사
*명사, 동사, 형용사, 조사
* 어간추출, 색인 및 벡터화
*어간추출, 색인 및 벡터화
|-
|-
| 구문 분석 ||  
|구문 분석||
* 명사구, 동사구, 형용사구
*명사구, 동사구, 형용사구
* 문장 경계 인식, 구문간 의미 관계 파악
*문장 경계 인식, 구문간 의미 관계 파악
|-
|-
| 의미 분석 ||  
|의미 분석||
* 문장 의미 분석
*문장 의미 분석
* 사용자 의도 파악
*사용자 의도 파악
|-
|-
| 담론 분석 ||  
|담론 분석||
* 문맥 이해
*문맥 이해
|}
|}


==== 기반 기술 ====
====기반 기술====
* [[워드 임베딩]], [[Word2Vec]]
 
* [[Bag of Words]]
*[[워드 임베딩]], [[Word2Vec]]
* [[TF-IDF]]
*[[Bag of Words]]
* [[N-Gram]]
*[[TF-IDF]]
* [[RNN]]
*[[N-Gram]]
*[[RNN]]
 
===NLG===


=== NLG ===
;Natural Language Generating
;Natural Language Generating


{| class="wikitable"
{| class="wikitable"
|-
|-
! 기술 !! 설명
!기술!!설명
|-
|-
| 문장 계획 ||  
|문장 계획||
* 전달하고자 하는 의미 계획
*전달하고자 하는 의미 계획
|-
|-
| 어휘 선택 ||  
|어휘 선택||
* 전달하고자 하는 의미에 해당하는 어휘 선택
*전달하고자 하는 의미에 해당하는 어휘 선택
|-
|-
| 문장 생성 ||  
|문장 생성||
* 계획에 따라 어휘 나열
*계획에 따라 어휘 나열
|-
|-
| 담론 생성 ||  
|담론 생성||
* 문장 간 결합
*문장 간 결합
|}
|}
== 같이 보기 ==
* [[워드 임베딩]]
* [[BERT]]

Latest revision as of 13:55, 3 September 2021


NLP, Natural Language Processing
인간의 언어를 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만들거나 혹은 컴퓨터가 처리한 결과를 이해할 수 있는 언어로 표현하는 제반 기술

접근법 구분[edit | edit source]

규칙/지식 기반 접근법[edit | edit source]

Symbolic Approach
  • [Now] [Weather] [What]
  • 무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법

확률/통계 기반 접근법[edit | edit source]

Statistical Approach
  • TF-IDF

딥러닝 적용법[edit | edit source]

  • 기존 접근법에 딥러닝 학습 적용

기술 구분[edit | edit source]

NLU[edit | edit source]

Natural Language Understanding

과정[edit | edit source]

기술 설명
형태소 분석
  • 명사, 동사, 형용사, 조사
  • 어간추출, 색인 및 벡터화
구문 분석
  • 명사구, 동사구, 형용사구
  • 문장 경계 인식, 구문간 의미 관계 파악
의미 분석
  • 문장 의미 분석
  • 사용자 의도 파악
담론 분석
  • 문맥 이해

기반 기술[edit | edit source]

NLG[edit | edit source]

Natural Language Generating
기술 설명
문장 계획
  • 전달하고자 하는 의미 계획
어휘 선택
  • 전달하고자 하는 의미에 해당하는 어휘 선택
문장 생성
  • 계획에 따라 어휘 나열
담론 생성
  • 문장 간 결합

같이 보기[edit | edit source]

Retrieved from "https://itwiki.kr/index.php?title=자연어_처리&oldid=26808"