혼동 행렬: 두 판 사이의 차이

IT위키
(새 문서: 분류:인공지능 ;Confusion matrix {| class="wikitable" | rowspan="2" colspan="2" | 구분 | colspan="2" | 예상 값 |- ! Positive ! Negative |- | rowspan="2" | 실제 값 !...)
 
 
(사용자 2명의 중간 판 6개는 보이지 않습니다)
1번째 줄: 1번째 줄:
[[분류:인공지능]]
[[분류:인공지능]]
;Confusion matrix
;Confusion matrix
;머신러닝 예측, 분류 모델의 학습 성능 평가를 위한 표현 모델


== 혼동 행렬 ==
{| class="wikitable"
{| class="wikitable"
| rowspan="2" colspan="2" | 구분
| rowspan="2" colspan="2" style="text-align: center;" | 구분
| colspan="2" | 예상 값
| colspan="2" style="text-align: center;" | 예상 값
|-
|-
! Positive
! Positive
! Negative
! Negative
|-
|-
| rowspan="2" | 실제 값
| rowspan="2" style="text-align: center;" | 실제 값
! Positive
! Positive
| TP
| TP
15번째 줄: 17번째 줄:
|-
|-
! Negative
! Negative
| FP
| TN
| TN
| TN
|}
|}
== 평가 ==
{| class="wikitable"
|-
! 평가지표 !! 설명
|-
| 정밀도(Precision) || 양성으로 예측된 결과의 정확한 예측의 비율을 의미하는 모델의 성능 지표
|-
| 재현율(Recall) || 실제 양성 중 모델이 정확하게 양성으로 예측한 비율을 나타내는 모델의 성능 지표
|-
| F1-Score || 정밀도와 재현율의 조화평균
|}
=== 정밀도 ===
;Precision
* 𝑻𝑷 / (𝑭𝑷 + 𝑻𝑷)
* '''분자''': 실제 Positive를 잘 판단한 경우
* '''분모''': 예측을 Positive로 한 모든 경우
* 잘못된 Positive를 줄이는 데에 초점
* ex) 스팸메일 분류
** 스팸을 스팸메일로 분류하지 않는 것(FN)은 큰 문제가 없음
** 스팸메일이 아닌 것을 스팸메일로 분류하면(FP) 업무 차질 발생
** 이와 같이 FN보단 FP를 줄이는 것이 중요한 경우 정밀도 사용
=== 재현율 ===
;Recall; Sensitivity; True Positive Rate
* 𝑻𝑷 / (𝑭𝑵 + 𝑻𝑷)
* '''분자''': 실제 Positive를 잘 판단한 경우
* '''분모''': 실제 값이 Positive인 모든 경우
* 잘못된 Negative를 줄이는데 초점
* ex) 악성코드 판별
** 악성코드가 아닌데 악성코드로 분류하면(FP) 사용자가 확인하고 예외처리 하면 됨
** 악성코드인데 악성코드가 아닌 것으로 분류하면(FN) 악성코드에 감염되어 위험 노출
** 이와 같이 FP보단 FN를 줄이는 것이 중요한 경우 재현율 사용
=== F1-Score ===
* 정밀도와 재현율이 모두 중요한 경우
* 둘을 따로 볼 경우 Trade-off 관계가 발생하여 판단 어려움
* 이 경우 둘을 조화평균한 F1-Score 사용
[[파일:Fb Score.png|300px]]
[[파일:F1 Score.png|300px]]
* F1-Score는 정밀도와 재현율을 동등하게 계산한 경우이며
* 정밀도에 더 가중치를 주고 싶은경우 β를 1 이상으로 입력
* 재현율에 더 가중치를 주고 싶은경우 β를 0~1로 입력
== 같이 보기 ==
* [https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc?hl=ko ROC 및 AUC]

2020년 2월 15일 (토) 22:48 기준 최신판

Confusion matrix
머신러닝 예측, 분류 모델의 학습 성능 평가를 위한 표현 모델

혼동 행렬[편집 | 원본 편집]

구분 예상 값
Positive Negative
실제 값 Positive TP FN
Negative FP TN

평가[편집 | 원본 편집]

평가지표 설명
정밀도(Precision) 양성으로 예측된 결과의 정확한 예측의 비율을 의미하는 모델의 성능 지표
재현율(Recall) 실제 양성 중 모델이 정확하게 양성으로 예측한 비율을 나타내는 모델의 성능 지표
F1-Score 정밀도와 재현율의 조화평균

정밀도[편집 | 원본 편집]

Precision
  • 𝑻𝑷 / (𝑭𝑷 + 𝑻𝑷)
  • 분자: 실제 Positive를 잘 판단한 경우
  • 분모: 예측을 Positive로 한 모든 경우
  • 잘못된 Positive를 줄이는 데에 초점
  • ex) 스팸메일 분류
    • 스팸을 스팸메일로 분류하지 않는 것(FN)은 큰 문제가 없음
    • 스팸메일이 아닌 것을 스팸메일로 분류하면(FP) 업무 차질 발생
    • 이와 같이 FN보단 FP를 줄이는 것이 중요한 경우 정밀도 사용

재현율[편집 | 원본 편집]

Recall; Sensitivity; True Positive Rate
  • 𝑻𝑷 / (𝑭𝑵 + 𝑻𝑷)
  • 분자: 실제 Positive를 잘 판단한 경우
  • 분모: 실제 값이 Positive인 모든 경우
  • 잘못된 Negative를 줄이는데 초점
  • ex) 악성코드 판별
    • 악성코드가 아닌데 악성코드로 분류하면(FP) 사용자가 확인하고 예외처리 하면 됨
    • 악성코드인데 악성코드가 아닌 것으로 분류하면(FN) 악성코드에 감염되어 위험 노출
    • 이와 같이 FP보단 FN를 줄이는 것이 중요한 경우 재현율 사용

F1-Score[편집 | 원본 편집]

  • 정밀도와 재현율이 모두 중요한 경우
  • 둘을 따로 볼 경우 Trade-off 관계가 발생하여 판단 어려움
  • 이 경우 둘을 조화평균한 F1-Score 사용

Fb Score.png F1 Score.png

  • F1-Score는 정밀도와 재현율을 동등하게 계산한 경우이며
  • 정밀도에 더 가중치를 주고 싶은경우 β를 1 이상으로 입력
  • 재현율에 더 가중치를 주고 싶은경우 β를 0~1로 입력

같이 보기[편집 | 원본 편집]