과도한 활성값 편집하기 (부분)

===장점 / 긍정적 역할 관점===
*'''암묵적 bias 역할'''
**입력 무관성을 지니는 거대 활성은 모델 내부에서 bias 항의 역할을 대신할 수 있다.<ref name="sun2024" />
*'''Attention 집중 제어'''
**해당 차원에 대응하는 토큰으로 attention 집중을 유도할 수 있으며, 일부 토큰에 대한 영향력을 조절하는 수단이 될 수 있다.<ref name="sun2024" />
*'''계산 효율성 및 동적 활성화 전략'''
**MOYU 논문에서는 이러한 과도한 활성 현상을 이용한 동적 활성화 전략(dynamic activation)을 통해 추론 속도를 높이려는 시도를 제안한다.<ref name="moyu2024">[https://arxiv.org/abs/2404.18740 Ma, Chi et al. "MOYU: A Theoretical Study on Massive Over-activation Yielded Uplifts in LLMs", arXiv (2024)]</ref>