과도한 활성값 편집하기 (부분)

==정의 및 개념==
과도한 활성값은 전체 활성 공간 중 극히 일부의 차원(dimension)에서 출력 값이 평균 혹은 일반 활성값보다 수만 배 이상 크게 나타나는 경우를 말한다.  Mingjie Sun 등은 “LLM 내부에는 소수의 활성만이 다른 활성 대비 수만 배 더 큰 값을 가진다”는 경험적 관찰을 기반으로 이 현상을 “Massive Activations”라 명명하였다.<ref name="sun2024">[https://arxiv.org/abs/2402.12356 Sun, Mingjie et al. "Massive Activations in Large Language Models", arXiv (2024)]</ref>  이 논문에서는 이러한 활성들이 입력에 거의 무관하게 일정한 상수를 유지하며, 모델 내부에서는 사실상 편향(bias) 항처럼 작동한다는 주장을 제시한다.<ref name="sun2024" />

이후 연구들에서는 이 현상의 학습 과정 동역학, 모델 크기별 발생 패턴, Transformer 구조에서의 역할 등에 대해 분석이 이루어졌다.<ref name="hidden2025">[https://arxiv.org/abs/2501.03111 Hidden Dynamics of Massive Activations in Transformer, arXiv (2025)]</ref>