대형 언어 모델 채널별 이상치 편집하기 (부분)

==발생 원인 요약==
{| class="wikitable"
!단계!!주요 원인!!설명
|-
|표준화 단계||σ가 작은 채널||정규화로 인해 작은 분산이 큰 값으로 확대됨
|-
|스케일링 단계||γ(α), β 편향||특정 채널의 스케일링 파라미터가 과도하게 큼
|-
|잔차 연결||W_out 중복 전달||이전 층의 이상치가 그대로 누적됨
|-
|구조적 특성||채널 독립 정규화||LayerNorm의 per-channel 독립성으로 보정 불가
|}