회귀 분석
IT 위키
더 많은 작업
- Regression analysis
관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한뒤 적합도를 측정해 내는 분석 방법
- 입력 자료(독립 변수) x 와 이에 대응하는 출력 자료(종속 변수) y 간의 관계를 정량화 하기 위한 작업
- 독립 변수: 영향을 주는 변수
- 종속 변수: 영향을 받는 변수
- aka. 회귀선
- 독립 변수가 주어졌을 때 종속 변수의 기댓값
- 최소제곱법을 통해 구할수 있음
- 회귀계수는 최소제곱법(잔차제곱합을 최소화)으로 추정한다.
- 개별 회귀계수가 유의한지는 t-검정, 모형 전체가 유의한지는 F-검정으로 본다.
- 모형의 설명력은 결정 계수(R²)로 본다.
- 두 독립변수가 함께 작용해 효과가 달라지는 교호작용이 있으면 회귀식의 형태나 회귀계수가 바뀔 수 있어 교호작용 항을 넣어 분석한다.
- 독립변수끼리 상관이 높으면 다중 공선성이 생긴다. 분산팽창계수(VIF)가 10 이상이면 다중공선성이 있다고 본다. "VIF 가 10 이상일 때 다중공선성이 존재하지 않는다" 는 틀리다.
- 선형회귀의 가정(선형성·독립성·등분산성·정규성)은 선형 회귀의 기본가정을 본다.
회귀 모형은 다음 순서로 만들고 평가한다. 앞 단계의 결과가 있어야 뒤 단계를 할 수 있으므로 순서가 바뀌지 않는다.
| 순서 | 단계 | 하는 일 |
|---|---|---|
| 1 | 독립변수 검정 | 모형에 넣을 독립변수가 적절한지 본다. 종속변수와 관련이 있는지, 독립변수끼리 다중 공선성이 없는지 확인한다 |
| 2 | 회귀계수 추정 | 최소제곱법으로 회귀계수를 구해 회귀식을 세운다 |
| 3 | 회귀 모형 유의성 검정 | 추정한 모형이 통계적으로 의미가 있는지 본다. 모형 전체는 F-검정, 개별 회귀계수는 t-검정 |
| 4 | 예측력 평가 | 모형이 종속변수를 얼마나 잘 설명·예측하는지 본다. 결정 계수(R²), 잔차 분석, RMSE 등 |
- 회귀계수를 추정하기 전에는 모형의 유의성을 검정할 수 없다. 검정할 회귀식이 아직 없기 때문이다. 그래서 "독립변수 검정 → 회귀 모형 유의성 검정 → 회귀계수 추정" 처럼 추정보다 검정을 앞에 두는 순서는 틀리다.
- 예측력 평가는 유의성이 확인된 모형에 대해 하는 마지막 단계다. 예측력 평가를 유의성 검정보다 먼저 두거나, 독립변수 검정을 맨 뒤에 두는 순서도 틀리다.