모델 양자화 편집하기

모델 양자화(模型量子化, Model Quantization)는 딥러닝 모델의 수치 표현 정밀도를 낮춰 메모리 사용량과 연산량을 줄이는 최적화 기법이다. 주로 대형 언어 모델(LLM)이나 모바일·엣지 디바이스에서 효율적인 추론을 위해 사용된다.
==개요==
딥러닝 모델은 일반적으로 32비트 부동소수점(float32)으로 학습되지만, 추론 시에는 16비트(float16), 8비트(int8), 4비트(int4) 등 더 낮은 정밀도의 형식으로 변환할 수 있다. 이러한 변환을 통해 모델의 크기를 줄이고 연산 속도를 향상시킬 수 있다.
==종류==
*'''정적 양자화(Static Quantization)''': 학습 이후 전체 모델을 정적으로 양자화하는 방식
*'''동적 양자화(Dynamic Quantization)''': 실행 시점에 가중치나 활성값을 동적으로 양자화
*'''양자화 인식 학습(QAT, Quantization-Aware Training)''': 학습 단계에서 양자화를 고려하여 정확도 손실을 최소화
*'''후처리 양자화(Post-training Quantization)''': 별도의 학습 없이 훈련된 모델에 양자화 적용

== 접미어 ==
{| class="wikitable"
! 표기 !! 의미 !! 비트 수(정밀도) !! 특징 !! 용량 크기 !! 추론 속도 !! 정확도
|-
| Q2 || 2-bit 양자화 || 2bit || 극단적 경량화, 테스트 용도 적합 || 매우 작음 || 매우 빠름 || 낮음
|-
| Q3 || 3-bit 양자화 || 3bit || 일부 GGML 호환, 실용성 제한적 || 작음 || 빠름 || 낮음~보통
|-
| Q4 || 4-bit 양자화 || 4bit || 일반적 최적 균형, 많이 사용됨 || 중간 || 빠름 || 중간~높음
|-
| Q4_K || 4-bit K-quant || 4bit || K-quant 최적화 구조, llama.cpp 전용 || 중간 || 빠름 || Q4보다 높음
|-
| Q5_K || 5-bit K-quant || 5bit || K-quant + 정밀도 향상 || 큼 || 중간 || 높음
|-
| IQ2, IQ3 || Integer 양자화 || 2~3bit || GPTQ 계열, 하드웨어 최적화 || 작음 || 빠름 || Q2~Q3 수준
|-
| Q4_0_4_4, Q4_0_8_8 || 그룹별 scale 양자화 || 4bit || 세분화된 스케일 설정 → 정확도 향상 || 큼 || 중간 || 높음
|-
| _XS / _S / _M / _L / _XL || 설정 스케일 또는 텐서 전처리 방식 || - || 각 벤더 정의에 따라 달라짐 || XS일수록 작음 || XS일수록 빠름 || XL일수록 정확
|}

== 장단점 ==
'''장점'''
*'''모델 크기 감소''': 저장 공간 절감 및 모델 전송 속도 향상
*'''추론 속도 향상''': CPU 및 GPU에서 더 빠른 연산 가능
*'''메모리 사용량 감소''': 모바일 및 엣지 디바이스에 적합
'''단점'''
*'''정확도 손실''': 정밀도 감소로 인해 예측 정확도가 하락할 수 있음
*'''하드웨어 제약''': 일부 정밀도(예: int4)는 특정 하드웨어에서만 지원됨
*'''추가 튜닝 필요''': 양자화 적용 후 정확도 회복을 위한 조정이 요구될 수 있음
==활용 사례==
*대형 언어 모델(LLM)의 로컬 추론(예: GGML, llama.cpp 등)
*온디바이스 AI 앱에서의 실시간 예측
*경량화된 AI 모델 배포를 위한 사전 처리 과정
==도구 및 프레임워크==
*PyTorch: torch.quantization, bitsandbytes 등
*TensorFlow Lite: 정적/동적 양자화 지원
*ONNX Runtime: 양자화된 ONNX 모델 추론
*Hugging Face Transformers: 8bit, 4bit 모델 제공
==같이 보기==
*[[딥 러닝]]
*[[대형 언어 모델]]
*[[llama.cpp]]
*[[후처리]]
*[[모바일 인공지능]]
==참고 문헌==
*Jacob, B. et al. (2018). Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. ''CVPR''.
*Zhang, S. et al. (2020). Accelerating Deep Learning Inference via Quantization. ''arXiv preprint''.
*Hugging Face. (2023). 8-bit and 4-bit quantization in Transformers.
==각주==
[[분류:인공지능]]
[[분류:딥 러닝]]