| 최신판 |
당신의 편집 |
| 1번째 줄: |
1번째 줄: |
| [[분류:인공지능]] | | [[분류:인공지능]] |
| ;Confusion matrix | | ;Confusion matrix |
| ;머신러닝 예측, 분류 모델의 학습 성능 평가를 위한 표현 모델
| |
|
| |
|
| == 혼동 행렬 ==
| |
| {| class="wikitable" | | {| class="wikitable" |
| | rowspan="2" colspan="2" style="text-align: center;" | 구분 | | | rowspan="2" colspan="2" | 구분 |
| | colspan="2" style="text-align: center;" | 예상 값 | | | colspan="2" | 예상 값 |
| |- | | |- |
| ! Positive | | ! Positive |
| ! Negative | | ! Negative |
| |- | | |- |
| | rowspan="2" style="text-align: center;" | 실제 값 | | | rowspan="2" | 실제 값 |
| ! Positive | | ! Positive |
| | TP | | | TP |
| 17번째 줄: |
15번째 줄: |
| |- | | |- |
| ! Negative | | ! Negative |
| | FP | | | TN |
| | TN | | | TN |
| |} | | |} |
|
| |
| == 평가 ==
| |
| {| class="wikitable"
| |
| |-
| |
| ! 평가지표 !! 설명
| |
| |-
| |
| | 정밀도(Precision) || 양성으로 예측된 결과의 정확한 예측의 비율을 의미하는 모델의 성능 지표
| |
| |-
| |
| | 재현율(Recall) || 실제 양성 중 모델이 정확하게 양성으로 예측한 비율을 나타내는 모델의 성능 지표
| |
| |-
| |
| | F1-Score || 정밀도와 재현율의 조화평균
| |
| |}
| |
|
| |
| === 정밀도 ===
| |
| ;Precision
| |
| * 𝑻𝑷 / (𝑭𝑷 + 𝑻𝑷)
| |
| * '''분자''': 실제 Positive를 잘 판단한 경우
| |
| * '''분모''': 예측을 Positive로 한 모든 경우
| |
| * 잘못된 Positive를 줄이는 데에 초점
| |
| * ex) 스팸메일 분류
| |
| ** 스팸을 스팸메일로 분류하지 않는 것(FN)은 큰 문제가 없음
| |
| ** 스팸메일이 아닌 것을 스팸메일로 분류하면(FP) 업무 차질 발생
| |
| ** 이와 같이 FN보단 FP를 줄이는 것이 중요한 경우 정밀도 사용
| |
|
| |
| === 재현율 ===
| |
| ;Recall; Sensitivity; True Positive Rate
| |
| * 𝑻𝑷 / (𝑭𝑵 + 𝑻𝑷)
| |
| * '''분자''': 실제 Positive를 잘 판단한 경우
| |
| * '''분모''': 실제 값이 Positive인 모든 경우
| |
| * 잘못된 Negative를 줄이는데 초점
| |
| * ex) 악성코드 판별
| |
| ** 악성코드가 아닌데 악성코드로 분류하면(FP) 사용자가 확인하고 예외처리 하면 됨
| |
| ** 악성코드인데 악성코드가 아닌 것으로 분류하면(FN) 악성코드에 감염되어 위험 노출
| |
| ** 이와 같이 FP보단 FN를 줄이는 것이 중요한 경우 재현율 사용
| |
|
| |
| === F1-Score ===
| |
| * 정밀도와 재현율이 모두 중요한 경우
| |
| * 둘을 따로 볼 경우 Trade-off 관계가 발생하여 판단 어려움
| |
| * 이 경우 둘을 조화평균한 F1-Score 사용
| |
| [[파일:Fb Score.png|300px]]
| |
| [[파일:F1 Score.png|300px]]
| |
| * F1-Score는 정밀도와 재현율을 동등하게 계산한 경우이며
| |
| * 정밀도에 더 가중치를 주고 싶은경우 β를 1 이상으로 입력
| |
| * 재현율에 더 가중치를 주고 싶은경우 β를 0~1로 입력
| |
|
| |
| == 같이 보기 ==
| |
| * [https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc?hl=ko ROC 및 AUC]
| |
