자연어 처리: Difference between revisions

From IT Wiki
No edit summary
No edit summary
Line 9: Line 9:
* 무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법
* 무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법


== 확률/통계 기반 접근법 ===
=== 확률/통계 기반 접근법 ===
;Statistical Approach
;Statistical Approach
* TF-IDF
* TF-IDF


== 딥러닝 적용법 ===
=== 딥러닝 적용법 ===
* 기존 접근법에 딥러닝 학습 적용
* 기존 접근법에 딥러닝 학습 적용



Revision as of 16:01, 30 December 2019

NLP, Natural Language Processing
인간의 언어를 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만들거나 혹은 컴퓨터가 처리한 결과를 이해할 수 있는 언어로 표현하는 제반 기술

접근법 구분

규칙/지식 기반 접근법

Symbolic Approach
  • [Now] [Weather] [What]
  • 무식한 방법이지만 현대 챗봇, 인공진공 스피커 등에서 가장 많이 적용되는 방법

확률/통계 기반 접근법

Statistical Approach
  • TF-IDF

딥러닝 적용법

  • 기존 접근법에 딥러닝 학습 적용

기술 구분

NLU

Natural Language Understanding

과정

기술 설명
형태소 분석
  • 명사, 동사, 형용사, 조사
  • 어간추출, 색인 및 벡터화
구문 분석
  • 명사구, 동사구, 형용사구
  • 문장 경계 인식, 구문간 의미 관계 파악
의미 분석
  • 문장 의미 분석
  • 사용자 의도 파악
담론 분석
  • 문맥 이해

기반 기술

NLG

Natural Language Generating
기술 설명
문장 계획
  • 전달하고자 하는 의미 계획
어휘 선택
  • 전달하고자 하는 의미에 해당하는 어휘 선택
문장 생성
  • 계획에 따라 어휘 나열
담론 생성
  • 문장 간 결합