대형 언어 모델 효율화 편집하기 (부분)

==양자화 (Quantization)==
모델의 가중치(weight)와 활성값(activation)을 부동소수(FP32) 대신 정수(INT8, INT4 등)로 표현하여  메모리와 연산량을 줄이는 기술이다. [[신경망 양자화]]에 관한 일반적 내용은 해당 문서에서 확인할 수 있다.

'''주요 방식'''
*정적 양자화 (Static Quantization)
**사전 수집된 데이터셋으로 scale과 zero-point를 미리 계산.
*동적 양자화 (Dynamic Quantization)
**실행 시점에 활성값을 실시간으로 양자화.
*후처리 양자화 (Post-training Quantization, PTQ)
**학습된 모델에 재학습 없이 양자화를 적용.
*양자화 인식 학습 (Quantization-Aware Training, QAT)
**학습 단계에서 양자화 효과를 모의(simulation)하여 정확도 손실을 최소화.
'''세분화 수준 (Granularity)'''
*Tensor-based quantization
*Vector-based quantization
*Group-based quantization
'''Outlier 관리'''

LLM은 모델 특성상 다른 DNN에 비해 [[이상치]]가 두드러지므로 이에 대한 별도 처리를 하지 않으면 같은 [[신경망 양자화 기법]]을 적용했을 때 특히 손실이 크다. 따라서 LLM용 Outlier 관리 기법이 별도로 중요하게 사용된다.
*Massive Activation
*Channel-wise Outlier
*Clip Activation / Clip Weight
'''LLM 특화 양자화 기법'''
*[[SmoothQuant|'''SmoothQuant''' (ICML 2023)]]
**활성값의 outlier 문제를 가중치 쪽으로 이전(migrate)하여 양자화 오차를 줄임.
**수식:  Y = (X·diag(s)^(-1))·(diag(s)·W)
**α 하이퍼파라미터로 activation–weight 균형 제어.
*[[QuaRot]]
*'''GPTQ''' (Quantization by Gradient Descent)
**학습 후 Hessian 근사 기반 최적화 양자화.
*'''AWQ''' (Activation-aware Weight Quantization)
**Calibration 단계에서 outlier-aware scaling 적용.
*'''ZeroQuant''' (Microsoft, 2022)
**End-to-end 자동 양자화 파이프라인.