L1 정규화
IT 위키
L1 정규화(L1 Regularization, 라쏘(Lasso) 규제)는 기계 학습 및 통계 모델에서 과적합(overfitting)을 방지하고 모델의 복잡도를 제어하기 위해 사용하는 정규화 기법 중 하나다. 이 방식은 가중치 벡터의 절댓값 합(ℓ₁ 노름)에 패널티를 부여하는 방식이다.
정의 및 수식[편집 | 원본 편집]
L1 정규화에서는 기본 손실 함수(예: 평균 제곱 오차, 교차 엔트로피 등)에 다음과 같은 패널티 항을 더한다:
\[ \text{Loss}_{\text{reg}} = \text{Loss}_{\text{original}} + \lambda \sum_i |w_i| \]
여기서
- \( w_i \)는 각 가중치 (또는 파라미터)
- \( \lambda \ge 0 \)는 정규화 강도를 조절하는 하이퍼파라미터다
이 페널티 항은 가중치의 절댓값을 줄이는 쪽으로 최적화 압력을 가하며, 결과적으로 일부 \( w_i \)를 정확히 0으로 만드는 특성이 있다.
특징 및 장점[편집 | 원본 편집]
- 희소성(sparsity) 유도: 일부 가중치를 0으로 만들어 필요한 변수만 살리는 효과가 있다.
- 특징 선택(feature selection) 기능: 자동으로 중요하지 않은 특징의 가중치를 0으로 만들어 모델 해석이 쉬워진다.
- 과적합 억제: 너무 큰 가중치가 학습되는 것을 억제하여 일반화 성능을 높인다.
단점 및 고려사항[편집 | 원본 편집]
- 패널티 함수가 절댓값 형태이므로, 0점에서의 미분이 정의되지 않아 최적화 과정에서 특별한 기법(서브그래디언트 등)이 필요하다.
- 강한 상관 관계가 있는 변수 그룹이 있을 경우, L1 정규화는 그중 일부만 선택할 수 있으며 임의성이 개입될 수 있다 [1]
- 정규화 강도 \( \lambda \)의 선택이 모델 성능에 큰 영향을 미친다.
응용 및 예시[편집 | 원본 편집]
- 선형 회귀 모델에 L1 정규화를 적용한 라쏘 회귀(Lasso Regression)
- 로지스틱 회귀 및 일반화 선형 모델에서 변수 선택을 위해 자주 사용됨
- 고차원 데이터(예: 유전자 데이터, 텍스트 특성 등)에서 모델 단순화 및 해석 가능성 확보
