불용어

불용어(Stop word, 정지어)는 문서에 매우 자주 나오지만 문서의 내용을 구별하는 데 거의 기여하지 못해 색인이나 분석에서 빼는 단어이다.

개요

영어의 a, an, the, of, and, to, 한국어의 조사 '은·는·이·가', 접속사 '그리고' 같은 단어는 거의 모든 문서에 나온다. 이런 단어로는 어떤 문서가 질의와 관련 있는지 가려낼 수 없으므로 색인어에서 뺀다. 그러면 역색인의 크기가 크게 줄고 검색과 분석이 빨라진다. Baeza-Yates 와 Ribeiro-Neto 는 문서 컬렉션의 80% 이상에 나오는 단어는 검색에 쓸모가 없다고 보고, 이런 단어를 불용어라 부른다고 설명한다. 관사, 전치사, 접속사가 대표적인 후보이다.

정하는 방법

• 고정 목록 - 언어별로 미리 만든 불용어 목록을 쓴다. 자연어 처리 도구들은 영어 불용어 목록을 기본으로 제공한다.
• 빈도 기준 - 컬렉션에서 문서 빈도(그 단어가 나온 문서 수)가 높은 순으로 단어를 정렬해 위쪽 일부를 불용어로 정한다. "컬렉션 문서의 80% 이상에 나오는 단어"가 이런 기준의 예다.
• 분야별 목록 - 특정 분야 문서에서는 그 분야의 흔한 말(예: 법률 문서의 '조', '항')도 불용어가 될 수 있다.

빼면 생기는 문제

불용어를 빼면 구절 검색이 망가질 수 있다. "To be or not to be" 는 거의 불용어로만 이루어져 있고, "President of the United States" 에서 of, the 를 빼면 구절의 뜻이 흐려진다. 그래서 현대 웹 검색 엔진은 불용어 목록을 아주 작게 두거나 쓰지 않고, 대신 TF-IDF 같은 가중치로 흔한 단어의 영향을 줄인다. TF-IDF 에서는 거의 모든 문서에 나오는 단어의 역문서 빈도(IDF)가 0 에 가까워져 저절로 무게를 잃는다.

다른 전처리 단계와 구별하기

단계	다루는 것	결과
불용어 제거	자주 나오지만 의미 구별에 쓸모없는 단어	그 단어를 뺀 목록
어간 추출	같은 단어의 여러 어형	접두사·접미사를 잘라 낸 어간
시소러스	같은 개념을 나타내는 여러 단어	개념 목록과 개념별 주요 단어
토큰화	문장	단어 단위 토큰

불용어는 빼는 단어이고, 어간 추출의 결과는 접사를 잘라 남긴 단어이다. 둘을 같은 단계로 보지 않는다.

같이 보기

• 어간 추출
• 시소러스
• 정보 검색
• 텍스트 마이닝
• TF-IDF
• Bag of Words