학습 가능한 양자화 기법 편집하기

* 상위 문서: [[신경망 양자화]]
* 상위 문서: [[신경망 양자화 기법]]

'''학습 가능한 양자화(Learnable Quantization) 기법'''은 양자화의 하이퍼파라미터(예: 클리핑 한계, 구간 간격, 스케일 등)를 고정하지 않고, 학습 과정에서 함께 최적화하는 방식이다.  

* 이 접근법은 모델이 양자화 오차에 스스로 적응하도록 만들어 정확도 손실을 최소화한다.

== PACT (Parameterized Clipping Activation) ==

* 참고 논문: Choi, Jungwook, et al. ''PACT: Parameterized Clipping Activation for Quantized Neural Networks.'' arXiv:1805.06085 (2018)

'''개념'''

* 기존 양자화에서는 활성화값(activation)의 최대·최소 범위 (−L, L)을 고정했지만, PACT는 클리핑 한계값 α (또는 L)을 '''학습 가능한 파라미터'''로 둔다.
* 모델이 학습 과정에서 적절한 클리핑 범위를 스스로 조정하여, 활성화값의 분포에 최적화된 양자화 범위를 찾는다.

'''특징'''

* 주로 '''활성화 양자화(activation quantization)'''에 사용된다.
* 단순하고 효과적이며, 여러 네트워크에서 정확도 향상이 입증되었다.

'''수식 예시:'''

x_c = \text{Clip}(x, -\alpha, \alpha), \quad \alpha \text{ is learnable.}

== QIL (Quantization Interval Learning) ==

* 참고 논문: Jung, Sangil, et al. ''Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss''. CVPR (2019)

'''개념'''

* 단순히 클리핑 범위만 학습하는 것이 아니라, '''양자화 구간(interval)'''과 '''라운딩 함수(mapping function)'''의 형태를 함께 학습한다.
* 손실 함수(task loss)를 통해 최적의 양자화 구간을 찾음으로써, 모델이 양자화 오차에 직접 적응하도록 설계되었다.
* 학습된 함수 F(w)를 통해 실수 가중치 w를 양자화 함수 Q로 매핑한다.  

w_q = Q(F(w))

'''특징'''

* 주로 '''가중치 양자화(weight quantization)'''에 적용된다.
* 양자화 함수의 형태를 학습하므로 더 유연하고 정밀한 표현이 가능하다.
* 활성화에는 계산량이 커서 잘 적용되지 않는다.

== QN (Quantization Networks) ==

* 참고 논문: Yang, Jiwei, et al. ''Quantization Networks.'' CVPR (2019)

'''개념'''

* 양자화를 '''비선형 함수 근사 문제'''로 해석하고, 신경망 구조 자체로 양자화 함수를 학습한다.
* 계단 함수(staircase function)를 직접 쓰지 않고, '''시그모이드(sigmoid) 함수'''로 부드럽게 근사한 후 학습 중 점차 온도(temperature) 파라미터 T를 높여 경계가 뚜렷한 양자화 함수로 수렴시킨다.

'''특징'''

* 완전한 '''end-to-end 학습'''이 가능하다.
* 연속적 근사로 인해 역전파(gradient) 계산이 용이하다.
* "양자화도 학습할 수 있는 네트워크"라는 개념적 확장을 제시한다.

== 참고 문헌 ==

* Choi, J. et al., <nowiki>''</nowiki>PACT: Parameterized Clipping Activation for Quantized Neural Networks<nowiki>''</nowiki>, arXiv:1805.06085 (2018)
* Jung, S. et al., <nowiki>''Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss''</nowiki>, CVPR (2019)
* Yang, J. et al., <nowiki>''Quantization Networks''</nowiki>, CVPR (2019)

[[분류:인공지능]]