변수 선택법
IT 위키
더 많은 작업
- Variable Selection; 변수 선택법
- 회귀모형에 포함할 설명변수의 조합을 찾는 방법
| 방법 | 진행 방식 |
|---|---|
| 모든 가능한 회귀(All Possible Regression) | 변수의 모든 조합을 다 만들어 비교한다. 변수가 p 개면 2ᵖ 개의 모형을 본다 |
| 전진 선택법(Forward Selection) | 상수항만 있는 모형에서 시작해 가장 기여가 큰 변수를 하나씩 추가한다. 한 번 들어간 변수는 빠지지 않는다 |
| 후진 제거법(Backward Elimination) | 모든 변수를 넣은 모형에서 시작해 기여가 가장 작은 변수를 하나씩 제거한다. 남은 변수가 모두 유의하면 거기서 멈춘다 |
| 단계적 선택법(Stepwise) | 전진 선택을 하되 매 단계마다 이미 들어간 변수도 다시 검토해 제거할 수 있다 |
- "후진선택법"이라는 이름은 쓰지 않는다. 후진 제거법이다.
- 후진 제거법은 상수항만 남을 때까지 제거하지 않는다. 더 뺄 변수가 없으면 멈춘다.
- 수정 결정계수(Adjusted R²) — 클수록 좋다
- AIC, BIC — 작을수록 좋다
- Mallow's Cp — 변수 개수에 가까울수록 좋다