학습 가능한 양자화 기법

• 상위 문서: 신경망 양자화
• 상위 문서: 신경망 양자화 기법

학습 가능한 양자화(Learnable Quantization) 기법은 양자화의 하이퍼파라미터(예: 클리핑 한계, 구간 간격, 스케일 등)를 고정하지 않고, 학습 과정에서 함께 최적화하는 방식이다.

• 이 접근법은 모델이 양자화 오차에 스스로 적응하도록 만들어 정확도 손실을 최소화한다.

PACT (Parameterized Clipping Activation)

• 참고 논문: Choi, Jungwook, et al. PACT: Parameterized Clipping Activation for Quantized Neural Networks. arXiv:1805.06085 (2018)

개념

• 기존 양자화에서는 활성화값(activation)의 최대·최소 범위 (−L, L)을 고정했지만, PACT는 클리핑 한계값 α (또는 L)을 학습 가능한 파라미터로 둔다.
• 모델이 학습 과정에서 적절한 클리핑 범위를 스스로 조정하여, 활성화값의 분포에 최적화된 양자화 범위를 찾는다.

특징

• 주로 활성화 양자화(activation quantization)에 사용된다.
• 단순하고 효과적이며, 여러 네트워크에서 정확도 향상이 입증되었다.

수식 예시:

x_c = \text{Clip}(x, -\alpha, \alpha), \quad \alpha \text{ is learnable.}

QIL (Quantization Interval Learning)

• 참고 논문: Jung, Sangil, et al. Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss. CVPR (2019)

개념

• 단순히 클리핑 범위만 학습하는 것이 아니라, 양자화 구간(interval)과 라운딩 함수(mapping function)의 형태를 함께 학습한다.
• 손실 함수(task loss)를 통해 최적의 양자화 구간을 찾음으로써, 모델이 양자화 오차에 직접 적응하도록 설계되었다.
• 학습된 함수 F(w)를 통해 실수 가중치 w를 양자화 함수 Q로 매핑한다.

w_q = Q(F(w))

특징

• 주로 가중치 양자화(weight quantization)에 적용된다.
• 양자화 함수의 형태를 학습하므로 더 유연하고 정밀한 표현이 가능하다.
• 활성화에는 계산량이 커서 잘 적용되지 않는다.

QN (Quantization Networks)

• 참고 논문: Yang, Jiwei, et al. Quantization Networks. CVPR (2019)

개념

• 양자화를 비선형 함수 근사 문제로 해석하고, 신경망 구조 자체로 양자화 함수를 학습한다.
• 계단 함수(staircase function)를 직접 쓰지 않고, 시그모이드(sigmoid) 함수로 부드럽게 근사한 후 학습 중 점차 온도(temperature) 파라미터 T를 높여 경계가 뚜렷한 양자화 함수로 수렴시킨다.

특징

• 완전한 end-to-end 학습이 가능하다.
• 연속적 근사로 인해 역전파(gradient) 계산이 용이하다.
• "양자화도 학습할 수 있는 네트워크"라는 개념적 확장을 제시한다.

참고 문헌

• Choi, J. et al., ''PACT: Parameterized Clipping Activation for Quantized Neural Networks'', arXiv:1805.06085 (2018)
• Jung, S. et al., ''Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss'', CVPR (2019)
• Yang, J. et al., ''Quantization Networks'', CVPR (2019)