다변량 분석
IT 위키
더 많은 작업
- Multivariate Analysis; 다변량 분석
- 여러 변수를 동시에 고려해 변수 간 관계, 집단 차이, 데이터 구조를 분석하는 통계 기법의 총칭
변수 하나씩 따로 분석하면 변수 사이의 상관을 놓친다. 다변량 분석은 변수들의 공분산 구조를 함께 다룬다. 크게 종속변수를 설명·예측하는 종속 기법(다중회귀, 판별분석, MANOVA 등)과, 종속·독립 구분 없이 변수나 개체의 구조를 찾는 상호의존 기법(주성분분석, 요인분석, 군집분석, 다차원척도법)으로 나눈다.
| 기법 | 변수 구성 | 목적·설명 |
|---|---|---|
| 다중회귀분석 | 수치형 독립 여러 개 → 수치형 종속 1개 | 여러 설명변수로 종속변수를 예측한다. 회귀 분석 참고. 다중공선성에 주의한다 |
| 판별분석(Discriminant Analysis) | 수치형 독립 → 범주형 종속 | 집단을 가장 잘 구분하는 판별함수(선형결합)를 찾아 새 개체의 소속 집단을 분류한다 |
| 주성분 분석(PCA) | 수치형 변수들 | 상관된 변수들을 분산이 최대가 되는 서로 직교하는 주성분으로 요약해 차원 축소한다 |
| 요인분석(Factor Analysis) | 수치형 변수들 | 관측변수들 뒤에 있는 공통의 잠재 요인을 찾는다. 탐색적(EFA)·확인적(CFA) 요인분석이 있고, 해석을 쉽게 하려고 요인 회전(Varimax 등)을 한다 |
| 군집분석 | 개체(관측치) | 유사한 개체끼리 묶는다. 계층적 군집 분석, K-평균 군집화 등. 군집화 참고 |
| 다차원 척도법(MDS) | 개체 간 거리·유사성 | 개체 간 거리를 최대한 보존하도록 2~3차원 공간에 배치해 시각화한다. 적합도는 스트레스(Stress) 값으로 보며 작을수록 좋다 |
| 정준상관분석(CCA) | 변수 집합 2개 | 두 변수 집합 각각의 선형결합 사이 상관이 최대가 되도록 하는 정준변수 쌍을 찾는다 |
| 다변량 분산분석(MANOVA) | 범주형 독립 → 수치형 종속 여러 개 | 종속변수들의 평균 벡터가 집단 간에 같은지 한 번에 검정한다. Wilks' Lambda, Pillai's Trace 등을 쓴다. 분산분석의 확장이다 |
- 산점도 행렬(Scatter Plot Matrix) : 변수 쌍마다 산점도를 격자로 배치한다. 대각선에는 히스토그램이나 밀도 그래프를 둔다
- 상관계수 히트맵 : 상관행렬을 색의 진하기로 표현해 강하게 관련된 변수 묶음과 다중공선성을 찾는다
- 평행좌표 그래프(Parallel Coordinates) : 변수마다 세로축을 나란히 세우고 각 관측치를 축을 잇는 선으로 그린다. 집단별 패턴과 이상치를 보기 좋다
- 이 밖에 스타 차트(레이더 차트), 체르노프 얼굴 등이 있다. 데이터 시각화, 탐색적 데이터 분석 참고
| 구분 | 주성분분석 | 요인분석 |
|---|---|---|
| 목적 | 데이터 요약·차원 축소 | 변수 뒤의 잠재 구조 발견 |
| 방향 | 관측변수의 선형결합으로 주성분을 만든다 | 관측변수를 잠재 요인의 선형결합 + 고유 오차로 본다 |
| 분석 대상 분산 | 전체 분산 | 공통 분산(공통성) |
| 결과 이름 | 주성분(보통 따로 이름 붙이지 않음) | 요인에 의미 있는 이름을 붙여 해석한다 |
| 공통점 | 변수 간 상관을 이용해 적은 수의 새 변수로 요약한다. 고유값, 스크리 도표로 개수를 정한다 | |
주성분 개수는 보통 다음 기준으로 정한다.
- 누적 설명 분산 비율이 70~90%에 이를 때까지
- 스크리 도표(Scree Plot)에서 기울기가 급격히 완만해지는 지점(엘보)까지
- 상관행렬 기준 고유값이 1 이상인 성분(카이저 기준)
변수의 단위가 다르면 표준화 후(상관행렬로) 분석한다.
- 기법과 변수 구성 짝짓기(판별분석 = 범주형 종속, MANOVA = 종속변수 여러 개, 정준상관 = 변수 집합 2개)
- 주성분분석과 요인분석의 차이, 주성분 개수 결정 기준(누적 기여율, 스크리 도표, 고유값 1)
- 다차원척도법의 스트레스 값 의미, 산점도 행렬·평행좌표 등 다변량 시각화 도구