TF-IDF 편집하기
IT위키
편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
최신판 | 당신의 편집 | ||
2번째 줄: | 2번째 줄: | ||
;Term Frequency - Inverse Document Frequency | ;Term Frequency - Inverse Document Frequency | ||
== 예시 === | |||
=== TF Score === | === TF Score === | ||
* a new car, used car, car review | * a new car, used car, car review | ||
** TF Score를 통해 car가 중요한 단어라는 것을 확인하였음 | ** TF Score를 통해 car가 중요한 단어라는 것을 확인하였음 | ||
14번째 줄: | 14번째 줄: | ||
| new || 1/7 | | new || 1/7 | ||
|- | |- | ||
| car || | | car || 3/7 | ||
|- | |- | ||
| used || 1/7 | | used || 1/7 | ||
27번째 줄: | 27번째 줄: | ||
! 단어 !! TF Score | ! 단어 !! TF Score | ||
|- | |- | ||
| a || | | a || 2/8 | ||
|- | |- | ||
| friend || | | friend || 2/8 | ||
|- | |- | ||
| in || | | in || 3/8 | ||
|- | |- | ||
| need || 1/8 | | need || 1/8 | ||
41번째 줄: | 41번째 줄: | ||
=== IDF === | === IDF === | ||
* Log (이 단어가 사용된 문장의 수 / 총 문장의 수+1) | |||
* TF에 IDF를 적용하면, a/the/in/is 와 같은 의미 없는 불용어를 희석시킬 수 있다. | * TF에 IDF를 적용하면, a/the/in/is 와 같은 의미 없는 불용어를 희석시킬 수 있다. | ||
{| class="wikitable" | {| class="wikitable" | ||
53번째 줄: | 51번째 줄: | ||
| new || 1/7 || Log(2/1) = 0.3 || 0.04 | | new || 1/7 || Log(2/1) = 0.3 || 0.04 | ||
|- | |- | ||
| | | car || 3/7 || Log(2/1) = 0.3 || '''0.13''' | ||
|- | |- | ||
| used || 1/7 || Log(2/1) = 0.3 || 0.04 | | used || 1/7 || Log(2/1) = 0.3 || 0.04 | ||
61번째 줄: | 59번째 줄: | ||
| a || 2/8 || Log(2/2) = 0 || 0 | | a || 2/8 || Log(2/2) = 0 || 0 | ||
|- | |- | ||
| | | friend || 2/8 || Log(2/1) = 0.3 || 0.08 | ||
|- | |- | ||
| in || 1/8 || Log(2/1) = 0.3 || 0.04 | | in || 1/8 || Log(2/1) = 0.3 || 0.04 |