대형 언어 모델 채널별 이상치 편집하기 (부분)

==형성 과정==
채널별 이상치는 주로 Layer Normalization과 Scaling + Bias 단계의 상호작용을 통해 형성된다.<ref name="clip2025">[https://arxiv.org/abs/2503.20111 Channelwise Outlier Profiling on CLIP, arXiv (2025)]</ref>

===1. 표준화 단계 (Standardization)===
Layer Normalization에서는 입력 텐서 X를 채널별 평균(μ)과 표준편차(σ)로 정규화한다.
<syntaxhighlight lang="python">
X' = (X_r - μ_r) / σ_r   # for each channel r
</syntaxhighlight>

*표준편차 σ가 작은 채널일수록, 정규화 이후 값이 상대적으로 크게 확대되어 outlier 채널로 나타난다.*
*즉, "When the standard deviation is low, channel-wise outliers become more pronounced."*

===2. 스케일링 및 바이어스 단계 (Scaling + Bias)===
정규화된 출력 X'에 대해 학습 가능한 파라미터 α(스케일)와 β(바이어스)가 적용된다.
<syntaxhighlight lang="python">
Y_e = α_e * X'_e + β_e   # for each channel e
</syntaxhighlight>

*일부 채널에서 α가 과도하게 크거나 β가 비정상적으로 이동하면, 해당 채널의 출력이 다시 증폭되어 outlier로 형성된다.
*CLIP, LLaMA, OPT 등 다양한 모델에서 α, β의 특정 차원이 두드러진 스파이크 형태로 관찰된다.

===3. 잔차 연결 (Residual Connection)===
*Transformer 구조에서 residual stream은 이전 층의 출력을 그대로 더하기 때문에, 한 번 발생한 채널별 이상치가 다음 층으로 전달되어 유지된다.
*이러한 누적 효과로 인해, 동일한 차원에서 반복적인 outlier 패턴이 나타난다.