|
|
| 1번째 줄: |
1번째 줄: |
| 가중치 감소(Weight Decay)는 머신러닝 및 딥러닝에서 과적합(overfitting)을 방지하기 위한 정규화(regularization) 기법이다. 학습 과정에서 모델의 가중치(weight)가 지나치게 커지는 것을 억제하여, 일반화(generalization) 능력을 향상시키는 역할을 한다.
| | #넘겨주기 [[가중치 감쇠]] |
| ==개요==
| |
| 가중치 감소는 손실 함수(loss function)에 '''가중치의 크기(weight magnitudes)''' 에 대한 '''페널티(penalty)''' 를 추가함으로써 작동한다. 이렇게 하면 모델이 단순한 가중치 구조를 갖도록 유도되어, 학습 데이터의 노이즈나 과적합을 덜 하게 된다.
| |
| ==작동 원리==
| |
| *손실 함수에 추가되는 항은 보통 가중치 벡터의 제곱합이다.
| |
| **예: 수정된 손실 = 원래 손실 + λ × (가중치 제곱합)
| |
| *[[경사 하강법]]과 같은 [[딥 러닝 옵티마이저|옵티마이제이션]] 과정에서, 가중치가 업데이트될 때 추가 항이 반영되어 매 스텝마다 가중치가 일정 비율 줄어든다.
| |
| **예: 새로운 가중치 = 이전 가중치 - 학습률 × (기울기 + λ × 가중치)
| |
| ==종류 및 변형==
| |
| *'''[[L2 정규화]]''': 가장 일반적인 방식으로, 가중치의 제곱합에 비례한 패널티를 부여한다.
| |
| *'''[[L1 정규화]]''': 가중치의 절댓값에 패널티를 부여하여 일부 가중치를 0으로 만들어 희소성을 유도한다.
| |
| *'''계층별 또는 모듈별 가중치 감소 조정''': 대형 언어 모델에서는 서로 다른 레이어에 서로 다른 강도의 weight decay를 적용하는 방식이 연구되고 있다.
| |
| ==장점 및 한계==
| |
| ===장점===
| |
| *'''과적합 억제''': 복잡한 모델이 학습 데이터의 노이즈에 과도하게 적합되는 것을 막는다.
| |
| *'''일반화 성능 향상''': 새로운 데이터에 대해 더 나은 성능을 기대할 수 있다.
| |
| *'''수치적 안정성 개선''': 큰 가중치로 인한 기울기 폭발이나 수치 불안정을 줄이는 데 도움이 된다.
| |
| ===한계===
| |
| *λ 값이 너무 크면 '''언더피팅(underfitting)''' 이 발생할 수 있다.
| |
| *일부 파라미터(예: 편향, BatchNorm 계수)에는 감쇠를 적용하지 않는 것이 일반적이다.
| |
| *학습률, 옵티마이저 설정 등 다른 하이퍼파라미터와 민감하게 상호작용한다.
| |
| *배치 정규화와 함께 사용될 경우 효과가 약화되거나 달라질 수 있다.
| |
| ==응용 및 최근 연구==
| |
| *'''AlphaDecay''': 대형 언어 모델에서 레이어별로 다른 weight decay를 적용하는 방식
| |
| *'''저랭크(low-rank) 특성 유도''': weight decay가 신경망 파라미터의 저랭크 구조를 유도한다는 연구
| |
| *'''BatchNorm과의 관계''': BatchNorm과 함께 사용될 때의 작동 원리에 대한 분석
| |
| ==같이 보기==
| |
| *[[정규화 (머신러닝)]]
| |
| *[[드롭아웃]]
| |
| *[[배치 정규화]]
| |
| *[[과적합]]
| |
| *[[옵티마이저]]
| |
| ==참고 문헌==
| |
| *Di He, Ajay Jaiswal, Songjun Tu, Li Shen, Ganzhao Yuan, Shiwei Liu, Lu Yin. “AlphaDecay: Module-wise Weight Decay for Heavy-Tailed Balancing in LLMs”. arXiv:2506.14562.
| |
| *Ke Chen, Chugang Yi, Haizhao Yang. “Towards Better Generalization: Weight Decay Induces Low-rank Bias for Neural Networks”. arXiv:2410.02176.
| |
| *Yucong Zhou, Yunxiao Sun, Zhao Zhong. “FixNorm: Dissecting Weight Decay for Training Deep Neural Networks”. arXiv:2103.15345.
| |
| *Ziquan Liu, Yufei Cui, Jia Wan, Yu Mao, Antoni B. Chan. “Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization”. arXiv:2102.03497.
| |
| ==각주==
| |
| [[분류:인공지능]]
| |
