어간 추출

어간 추출(Stemming, 스테밍)은 단어에서 접두사·접미사 같은 접사를 규칙에 따라 잘라 내어, 어형이 다른 단어들을 같은 어간으로 모으는 텍스트 전처리 과정이다.

개요

같은 뜻의 단어가 connect, connected, connecting, connection 처럼 여러 꼴로 나타나면, 검색어와 문서의 단어가 글자로는 달라 서로 맞지 않는다. 어간 추출은 이들을 모두 connect 로 바꾸어 색인어 수를 줄이고 재현율을 높인다. 정보 검색 시스템은 문서를 색인하기 전에 토큰화, 불용어 제거, 어간 추출을 차례로 거치는 것이 일반적이다. 어간 추출의 결과는 원래 단어의 접사를 잘라 낸 뒤 남는 단어이다. 그 결과가 사전에 있는 낱말일 필요는 없다. 포터 알고리즘은 university 와 universal 을 모두 univers 로 만든다.

포터 알고리즘

가장 널리 쓰이는 영어 어간 추출기는 1980년 마틴 포터가 발표한 포터 알고리즘이다. 사전 없이 접미사 규칙만으로 동작한다. 단어를 자음·모음의 반복 횟수(측도 m)로 본 뒤, 다섯 단계의 규칙을 차례로 적용해 접미사를 떼거나 바꾼다.

• 1단계 - 복수형과 과거형·진행형 처리. caresses → caress, ponies → poni, plastered → plaster, motoring → motor
• 2~4단계 - -ational → -ate, -ization → -ize, -ness·-ful·-ment 제거처럼 파생 접미사를 줄인다
• 5단계 - 끝의 -e 와 겹자음 정리. probate → probat

규칙이 기계적이라 서로 다른 단어를 하나로 합치거나(과잉 추출, universe·university), 같은 뜻의 단어를 다르게 남기기도 한다(과소 추출).

표제어 추출과 구별하기

구분	어간 추출(stemming)	표제어 추출(lemmatization)
방법	접사를 규칙으로 잘라 낸다	사전과 품사 정보로 기본형을 찾는다
결과	사전에 없는 꼴일 수 있다(univers)	사전의 기본형이다(was → be, better → good)
비용	빠르고 단순하다	형태소·품사 분석이 필요해 느리다

한국어는 조사와 어미가 붙는 교착어라 영어식 접미사 절단보다 형태소 분석으로 어간이나 명사를 뽑는 방식을 주로 쓴다(텍스트 마이닝).

다른 전처리 단계와 구별하기

정보 검색에서 문서를 색인어로 바꾸는 텍스트 연산은 대개 다음과 같다.

단계	하는 일	결과
어휘 분석(토큰화)	문장을 단어 단위로 나누고 숫자·문장부호·대소문자를 정리한다	토큰 목록
불용어 제거	너무 자주 나와 문서를 가려내는 데 쓸모없는 단어를 뺀다	의미 있는 단어만 남은 목록
어간 추출	접두사·접미사를 잘라 어간으로 모은다	접사를 잘라 낸 뒤의 단어
색인어 선택	명사 등 색인에 쓸 단어를 고른다	색인어 집합
시소러스 구성	중요한 개념과 그 개념을 나타내는 단어들(동의어·관련어)을 묶는다	개념 목록과 개념별 주요 단어

• "매우 자주 쓰이지만 문장 의미에는 거의 기여하지 못하는 단어", "문서 컬렉션의 80% 이상에 나오는 단어"는 불용어에 대한 설명이다.
• "중요한 개념들의 리스트와 각 개념을 기술하는 주요 단어들"은 시소러스의 결과이다.

같이 보기

• 불용어
• 시소러스
• 정보 검색
• 텍스트 마이닝
• 역색인