다중 공선성
IT 위키
더 많은 작업
- Multicollinearity; 다중공선성
- 회귀모형의 설명변수(독립변수)들 사이에 강한 선형 상관관계가 존재해 회귀계수 추정이 불안정해지는 현상
- 회귀계수의 분산이 커져 추정값이 불안정해진다
- 표본이 조금만 바뀌어도 계수의 크기와 부호가 뒤집힌다
- 계수의 개별 해석이 사실상 불가능해진다
- 모형 전체의 설명력(결정계수)은 높은데 개별 계수는 유의하지 않은 모순이 나타난다
설명변수 사이의 선형 관계가 원인이다. 비선형 관계가 있다고 해서 다중공선성이 생기는 것은 아니다.
| 지표 | 판단 기준 |
|---|---|
| VIF(분산팽창요인, Variance Inflation Factor) | 10 이상이면 다중공선성이 있다고 본다. VIF = 1/(1−R²) |
| 공차한계(Tolerance) | VIF 의 역수. 0.1 이하면 문제 |
| 상관계수 행렬 | 설명변수끼리 상관계수가 높은 쌍을 찾는다 |
| 상태지수(Condition Index) | 30 이상이면 의심 |
- Cook's Distance 는 이상치·영향점을 찾는 지표이고, Mallow's Cp 는 변수 선택 기준이다. 다중공선성 진단 지표가 아니다.
- 상관이 높은 변수 중 하나를 제거한다
- 주성분 분석으로 서로 직교하는 새 변수(주성분)를 만들어 쓴다
- 능형회귀(Ridge), 라쏘(Lasso) 같은 규제 회귀를 쓴다
- 표본 수를 늘린다
- 다중공선성이 있으면 회귀계수 추정량의 분산과 표준오차가 커져 계수가 불안정하고 정확한 추정과 해석이 어렵다.
- 진단은 VIF(분산팽창계수)로 한다. VIF 가 1 이면 공선성이 없고, 10 이상이면 심각한 다중공선성으로 본다. "VIF 가 1 이하일 때 문제가 있다" 는 틀리다.
- 표본이 작을수록 독립변수들 사이의 표본 상관이 우연히 커지기 쉬워 다중공선성이 나타나기 쉽고 그 영향도 크다. 표본 크기와 무관하게 정해지는 것이 아니다.
- 해결할 때 제거하는 것은 상관이 높은 독립변수다. 종속변수가 아니다. 주성분 분석이나 Ridge 회귀를 쓰기도 한다.
다중공선성은 생기는 원인에 따라 두 가지로 나눈다.
| 구분 | 원인 | 예 | 대처 |
|---|---|---|---|
| 구조적 다중공선성 | 분석자가 기존 변수로 새 항을 만들어 모형에 넣어서 생긴다 | X 와 X², 교호작용항 X₁×X₂ | 변수를 평균 중심화(각 값에서 평균을 뺌)한 뒤 제곱항·교호작용항을 만든다 |
| 데이터 다중공선성 | 관측된 데이터에서 설명변수끼리 원래 상관이 높다 | 키와 몸무게, 소득과 소비 | 변수 제거, 주성분 분석, 규제 회귀, 표본 추가 |
X 가 모두 양수이면 X 가 커질 때 X² 도 함께 커지므로 둘의 상관이 높다. 평균을 뺀 (X − X̄) 로 제곱항을 만들면 값이 0 을 중심으로 양쪽에 놓이게 되어 (X − X̄) 와 (X − X̄)² 의 상관이 크게 줄어든다. 중심화는 변수의 기준점만 옮기는 것이라 모형의 적합도(결정계수)는 그대로다.
- 평균 중심화는 구조적 다중공선성에 쓰는 해결책이다. 서로 다른 두 변수의 상관계수는 평균을 빼도 변하지 않으므로, 데이터 다중공선성은 중심화로 없어지지 않는다.
- 상관이 높고 중요도가 낮은 변수를 제거하거나 주성분 분석으로 차원을 줄이는 것은 데이터 다중공선성의 해결책이다.
- VIF 는 다중공선성이 있는지 판단하는 진단 지표다. VIF 를 계산하는 것만으로 다중공선성이 해소되지는 않는다.