혼동 행렬: 두 판 사이의 차이
IT위키
편집 요약 없음 |
편집 요약 없음 |
||
| 1번째 줄: | 1번째 줄: | ||
[[분류:인공지능]] | [[분류:인공지능]] | ||
;Confusion matrix | ;Confusion matrix | ||
;머신러닝 예측, 분류 모델의 학습 성능 평가를 위한 표현 모델 | |||
{| class="wikitable" | {| class="wikitable" | ||
| 18번째 줄: | 19번째 줄: | ||
| TN | | TN | ||
|} | |} | ||
== 평가 == | |||
{| class="wikitable" | |||
|- | |||
! 평가지표 !! 설명 | |||
|- | |||
| 정밀도(Precision) || 양성으로 예측된 결과의 정확한 예측의 비율을 의미하는 모델의 성능 지표 | |||
|- | |||
| 재현율(Recall) || 실제 양성 중 모델이 정확하게 양성으로 예측한 비율을 나타내는 모델의 성능 지표 | |||
|- | |||
| F1-Score || 정밀도와 재현율의 조화평균 | |||
|} | |||
=== 정밀도 === | |||
;Precision | |||
* 𝑻𝑷 / (𝑭𝑷 + 𝑻𝑷) | |||
* '''분자''': 실제 Positive를 잘 판단한 경우 | |||
* '''분모''': 예측을 Positive로 한 모든 경우 | |||
* 잘못된 Positive를 줄이는 데에 초점 | |||
* ex) 스팸메일 분류 | |||
** 스팸을 스팸메일로 분류하지 않는 것(FN)은 큰 문제가 없음 | |||
** 스팸메일이 아닌 것을 스팸메일로 분류하면(FP) 업무 차질 발생 | |||
** 이와 같이 FN보단 FP를 줄이는 것이 중요한 경우 정밀도 사용 | |||
== 재현율 == | |||
;Recall; Sensitivity; True Positive Rate | |||
* 𝑻𝑷 / (𝑭𝑵 + 𝑻𝑷) | |||
* '''분자''': 실제 Positive를 잘 판단한 경우 | |||
* '''분모''': 실제 값이 Positive인 모든 경우 | |||
* ex) 악성코드 판별 | |||
** 악성코드가 아닌데 악성코드로 분류하면(FP) 사용자가 확인하고 예외처리 하면 됨 | |||
** 악성코드인데 악성코드가 아닌 것으로 분류하면(FN) 악성코드에 감염되어 위험 노출 | |||
** 이와 같이 FP보단 FN를 줄이는 것이 중요한 경우 재현율 사용 | |||
== F1-Score == | |||
* 정밀도와 재현율이 모두 중요한 경우 | |||
* 둘을 따로 볼 경우 Trade-off 관계가 발생하여 판단 어려움 | |||
* 이 경우 둘을 조화평균한 F1-Score 사용 | |||
[[파일:Fb Score.png|300px]] | |||
[[파일:F1 Score.png|300px]] | |||
* F1-Score는 정밀도와 재현율을 동등하게 계산한 경우이며 | |||
* 정밀도에 더 가중치를 주고 싶은경우 β를 1 이상으로 입력 | |||
* 재현율에 더 가중치를 주고 싶은경우 β를 0~1로 입력 | |||
2020년 1월 6일 (월) 00:47 판
- Confusion matrix
- 머신러닝 예측, 분류 모델의 학습 성능 평가를 위한 표현 모델
| 구분 | 예상 값 | ||
| Positive | Negative | ||
|---|---|---|---|
| 실제 값 | Positive | TP | FN |
| Negative | TN | TN | |
평가
| 평가지표 | 설명 |
|---|---|
| 정밀도(Precision) | 양성으로 예측된 결과의 정확한 예측의 비율을 의미하는 모델의 성능 지표 |
| 재현율(Recall) | 실제 양성 중 모델이 정확하게 양성으로 예측한 비율을 나타내는 모델의 성능 지표 |
| F1-Score | 정밀도와 재현율의 조화평균 |
정밀도
- Precision
- 𝑻𝑷 / (𝑭𝑷 + 𝑻𝑷)
- 분자: 실제 Positive를 잘 판단한 경우
- 분모: 예측을 Positive로 한 모든 경우
- 잘못된 Positive를 줄이는 데에 초점
- ex) 스팸메일 분류
- 스팸을 스팸메일로 분류하지 않는 것(FN)은 큰 문제가 없음
- 스팸메일이 아닌 것을 스팸메일로 분류하면(FP) 업무 차질 발생
- 이와 같이 FN보단 FP를 줄이는 것이 중요한 경우 정밀도 사용
재현율
- Recall; Sensitivity; True Positive Rate
- 𝑻𝑷 / (𝑭𝑵 + 𝑻𝑷)
- 분자: 실제 Positive를 잘 판단한 경우
- 분모: 실제 값이 Positive인 모든 경우
- ex) 악성코드 판별
- 악성코드가 아닌데 악성코드로 분류하면(FP) 사용자가 확인하고 예외처리 하면 됨
- 악성코드인데 악성코드가 아닌 것으로 분류하면(FN) 악성코드에 감염되어 위험 노출
- 이와 같이 FP보단 FN를 줄이는 것이 중요한 경우 재현율 사용
F1-Score
- 정밀도와 재현율이 모두 중요한 경우
- 둘을 따로 볼 경우 Trade-off 관계가 발생하여 판단 어려움
- 이 경우 둘을 조화평균한 F1-Score 사용
- F1-Score는 정밀도와 재현율을 동등하게 계산한 경우이며
- 정밀도에 더 가중치를 주고 싶은경우 β를 1 이상으로 입력
- 재현율에 더 가중치를 주고 싶은경우 β를 0~1로 입력
