학습 가능한 양자화 기법

• 상위 문서: 신경망 양자화
• 상위 문서: 신경망 양자화 기법

학습 가능한 양자화(Learnable Quantization) 기법은 양자화의 하이퍼파라미터(예: 클리핑 한계, 구간 간격, 스케일 등)를 고정하지 않고, 학습 과정에서 함께 최적화하는 방식이다.

• 이 접근법은 모델이 양자화 오차에 스스로 적응하도록 만들어 정확도 손실을 최소화한다.

PACT (Parameterized Clipping Activation)

• 참고 논문: Choi, Jungwook, et al. PACT: Parameterized Clipping Activation for Quantized Neural Networks. arXiv:1805.06085 (2018)

개념

• 기존 양자화에서는 활성화값(activation)의 최대·최소 범위 (−L, L)을 고정했지만, PACT는 클리핑 한계값 α (또는 L)을 학습 가능한 파라미터로 둔다.
• 모델이 학습 과정에서 적절한 클리핑 범위를 스스로 조정하여, 활성화값의 분포에 최적화된 양자화 범위를 찾는다.

특징

• 주로 활성화 양자화(activation quantization)에 사용된다.
• 단순하고 효과적이며, 여러 네트워크에서 정확도 향상이 입증되었다.

수식 예시:

x_c = Clip(x, -α, α) α is learnable.

QIL (Quantization Interval Learning)

• 참고 논문: Jung, Sangil, et al. Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss. CVPR (2019)

개념

• 단순히 클리핑 범위만 학습하는 것이 아니라, 양자화 구간(interval)과 라운딩 함수(mapping function)의 형태를 함께 학습한다.
• 손실 함수(task loss)를 통해 최적의 양자화 구간을 찾음으로써, 모델이 양자화 오차에 직접 적응하도록 설계되었다.
• 학습된 함수 F(w)를 통해 실수 가중치 w를 양자화 함수 Q로 매핑한다.

w_q = Q(F(w))

특징

• 주로 가중치 양자화(weight quantization)에 적용된다.
• 양자화 함수의 형태를 학습하므로 더 유연하고 정밀한 표현이 가능하다.
• 활성화에는 계산량이 커서 잘 적용되지 않는다.

QN (Quantization Networks)

• 참고 논문: Yang, Jiwei, et al. Quantization Networks. CVPR (2019)

개념

• 양자화를 비선형 함수 근사 문제로 해석하고, 신경망 구조 자체로 양자화 함수를 학습한다.
• 계단 함수(staircase function)를 직접 쓰지 않고, 시그모이드(sigmoid) 함수로 부드럽게 근사한 후 학습 중 점차 온도(temperature) 파라미터 T를 높여 경계가 뚜렷한 양자화 함수로 수렴시킨다.

특징

• 완전한 end-to-end 학습이 가능하다.
• 연속적 근사로 인해 역전파(gradient) 계산이 용이하다.
• "양자화도 학습할 수 있는 네트워크"라는 개념적 확장을 제시한다.

비교

구분	PACT	QIL	QN
제안연도	2018	2019	2019
핵심 아이디어	클리핑 한계값 L 학습	양자화 구간 및 라운딩 함수 형태 학습	신경망으로 양자화 함수 근사
학습 대상	활성화값	가중치	전체 양자화 함수
적용 범위	QAT	QAT	QAT
장점	단순·효과적, 계산 효율 높음	유연한 양자화, 높은 정확도	완전 미분 가능, end-to-end 학습 가능

참고 문헌

• Choi, J. et al., ''PACT: Parameterized Clipping Activation for Quantized Neural Networks'', arXiv:1805.06085 (2018)
• Jung, S. et al., ''Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss'', CVPR (2019)
• Yang, J. et al., ''Quantization Networks'', CVPR (2019)