모형 평가
IT 위키
더 많은 작업
- Model Evaluation
- 만들어진 분석 모형이 얼마나 잘 맞는지를 정해진 지표로 측정하는 일
모형의 종류에 따라 쓰는 지표가 다르다.
- 정오행렬(Confusion Matrix) → 정확도, 정밀도, 재현율, F1 점수
- ROC 그래프 : 가로축 거짓 긍정률(FPR), 세로축 참 긍정률(TPR). 왼쪽 위로 붙을수록 좋다
- AUC : ROC 곡선 아래 면적. 1 에 가까울수록 좋다
- 향상도 곡선(Lift Chart), 이익 도표(Gain Chart)
- 결정계수(R²) : 모형이 설명하는 분산의 비율
- MSE / RMSE / MAE / MAPE
- AIC, BIC
- 실루엣 지수(Silhouette) : −1 ~ 1. 1 에 가까울수록 군집이 잘 나뉜 것
- Dunn Index, 엘보우 기법
- 홀드아웃(Holdout) : 학습용·검증용으로 한 번 나눈다
- 부트스트랩(Bootstrap) : 전체 데이터에서 복원 추출로 같은 크기의 훈련 데이터를 만든다. 한 관측치가 한 번도 뽑히지 않을 확률은 (1 − 1/n)ⁿ ≈ e⁻¹ ≈ 0.368 이므로, 표본이 충분히 크면 훈련 데이터에는 전체 관측치의 약 63.2%가 들어가고 나머지 36.8% 가 검증용(OOB)이 된다.
- K-fold 교차검증 : k 개로 나눠 돌아가며 검증
- 부트스트랩 : 복원추출로 표본을 여러 번 만든다
여러 후보 모형을 만든 뒤 실제로 쓸 최종 모형을 고를 때는 지표 점수만 보지 않는다. 다음 세 가지를 함께 따진다.
| 기준 | 내용 |
|---|---|
| 평가지표 | 정확도·정밀도·재현율·AUC, RMSE 등 모형 유형에 맞는 지표로 성능을 비교한다 |
| 시스템 구현 가능성 | 운영 시스템에 넣어 정해진 시간 안에 돌릴 수 있는지, 필요한 데이터를 운영 환경에서 계속 얻을 수 있는지 본다 |
| 업무 담당자의 의견 | 결과를 해석하고 실제 업무에 적용할 수 있는지 현업 담당자·이해관계자의 의견을 반영한다 |
- 평가 기준을 먼저 정하고, 그 기준으로 후보 모형을 평가한 뒤, 최종 모형을 선정한다.
- 표본의 충분성은 최종 모형 평가 기준이 아니다. 표본이 충분한지는 모형을 만들기 전 데이터를 수집·준비하는 단계에서 확인할 일이다.