과도한 활성값 편집하기 (부분)

==학습 과정에서의 동역학==
과도한 활성값이 단순히 최적화 후에만 나타나는 것이 아니라, 훈련 과정 동안 점진적으로 형성된다는 연구가 있다.
*'''발생 시점 및 패턴'''
**“Hidden Dynamics of Massive Activations in Transformer” 논문은 Pythia 모델 계열을 대상으로 훈련 체크포인트별 활성 동역학을 추적했으며, 거기서 과도한 활성의 발생은 지수적으로 조절된 로그 함수 형태로 모델화할 수 있다고 제안한다.<ref name="hidden2025" />

*'''크기 영향'''
**모델 규모가 클수록 과도한 활성값의 발생 빈도나 크기가 달라지며, 일정 규모 이상에서는 이 현상이 더 뚜렷해지는 경향이 있다.<ref name="hidden2025" />