로지스틱 회귀
IT 위키
더 많은 작업
Logistic Regression
로지스틱 회귀는 이진 분류 문제를 해결하는 데 많이 사용되는 통계 및 머신러닝 기법이다. 이 알고리즘은 독립 변수들의 선형 조합을 통해 결과 변수(종속 변수)가 특정 클래스에 속할 확률을 예측한다. 주로 0 또는 1로 레이블된 이진 분류에서 활용되지만, 다중 클래스 확장도 가능하다.
- 로지스틱: 합격/불합격, 성공/실패, 생존/사망, 진실/거짓 등 이분법적인 결과를 도출하기 위한 경우
- 회귀분석: 과거의 추세를 기반으로 미래 예측
- 로지스틱 회귀분석은 종속변수가 범주형이므로, 분류모델에 더 가까움
로지스틱 회귀에선 대부분은 시그모이드를 사용한다. 하이퍼볼릭 탄젠트는 특수한 경우에만 드물게 사용된다.
| 함수 | 모양 |
|---|---|
| 시그모이드
1/(1+e^(-x)) |
|
| 하이퍼볼릭 탄젠트
tanh(x) |
|
- 단순회귀분석: 독립변수 1개
- 다중회귀분석: 독립변수 2개 이상
- 장점: 구현이 간단하며, 해석하기 쉬운 모델이다.
- 과적합 위험이 비교적 낮고, 이진 분류에 효과적이다.
- 단점: 선형 관계가 없는 데이터에서는 성능이 떨어진다.
- 다중 클래스 문제에서 직접 적용하기 어려워 소프트맥스 회귀와 같은 다른 기법이 필요합니다.
| 구분 | 선형 회귀 | 로지스틱 회귀 |
|---|---|---|
| 종속변수 | 연속형 | 범주형(보통 0/1 이진. 3개 이상이면 다항 로지스틱 회귀) |
| 독립변수 | 연속형·범주형 모두 가능 | 연속형·범주형 모두 가능. 독립변수에 대한 분포 가정이 없다 |
| 변환 | 없음 | 로짓 변환 : log(p/(1−p)) 을 독립변수의 선형식으로 놓는다 |
| 출력 | 실수 전체 | 시그모이드 함수로 0~1 사이의 확률을 내고, 기준값(cutoff)으로 분류한다 |
| 계수 추정 | 최소제곱법(최대우도법도 가능) | 최대우도추정법(MLE). 최소제곱법이 아니다 |
| 모형 검정 | F 검정 | 카이제곱 검정(우도비 검정). F 검정이 아니다 |
| 잔차 가정 | 정규성·등분산 | 잔차의 정규성을 가정하지 않는다 |
- 오즈(Odds) = p/(1−p). 0 ~ 무한대의 값을 갖는다. 로그를 씌운 로그 오즈(로짓)가 −무한대 ~ 무한대다.
- 회귀계수 β 는 로그 오즈의 증가량이라 바로 해석하기 어렵다. exp(β) 로 바꾼 오즈비로 "독립변수가 1 늘면 오즈가 exp(β) 배" 처럼 해석한다. "회귀계수의 변형 없이 직관적 해석이 용이하다" 는 틀리다.
확률이 기준값 c 이상이면 관심범주(양성)로 분류한다.
- c = 0 이면 모두 양성으로 분류한다 → 민감도 1, 특이도 0. 둘의 차이는 1 이다.
- c 를 올릴수록 민감도는 줄고 특이도는 는다. 여러 c 에서 민감도와 1−특이도를 그린 것이 ROC 곡선이다.