DoReFa-Net 편집하기

'''DoReFa-Net'''은 저정밀도 신경망 학습을 가능하게 하는 기법으로, 가중치(weight), 활성값(activation), 그리고 그래디언트(gradient)를 모두 저비트 정밀도에서 표현하여 연산 효율과 메모리 사용량을 크게 줄이는 방법이다.<ref name="zhou2016">[https://arxiv.org/abs/1606.06160 Zhou, Shuchang, et al. "DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients." arXiv preprint arXiv:1606.06160 (2016).]</ref>
==개요==
DoReFa-Net은 기존의 Binarized Neural Network (BNN)나 XNOR-Net과 달리, 단순히 이진화된 가중치만 사용하는 것이 아니라
*가중치(Weight), 활성값(Activation), 그래디언트(Gradient) 를 각각 다른 비트폭(bitwidth)으로 양자화하여
훈련과 추론 모두를 저정밀도 연산으로 수행할 수 있게 한다.
==핵심 아이디어==
*학습과정 전반(Forward, Backward, Update)에서 부동소수 연산(FP32)을 최소화.
*각 요소별로 별도의 양자화 함수를 적용하여 표현 범위를 제한하면서도 미분 가능하도록 설계.
*저비트 연산 환경(CPU, FPGA, ASIC, Mobile 등)에서 CNN을 효율적으로 구동 가능.
==양자화 함수==
DoReFa-Net은 다음과 같이 세 가지 주요 구성요소를 각기 다른 양자화 방식으로 처리한다.
===1. 가중치 양자화 (Weight Quantization)===
가중치는 [-1, 1] 범위에서 비트폭 k_w 로 균등 양자화된다. \[ w_q = 2 \cdot Q_k\left(\frac{\tanh(w)}{2\max(|\tanh(w)|)} + \frac{1}{2}\right) - 1 \] 여기서 \( Q_k(x) = \frac{1}{2^k - 1} \text{round}((2^k - 1)x) \) 은 k-bit 균등 양자화 연산자이다.
===2. 활성값 양자화 (Activation Quantization)===
활성값은 [0,1] 구간에서 비트폭 k_a 로 양자화되며, 시그모이드 계열 함수의 출력과 잘 맞도록 설계되었다. \[ a_q = Q_{k_a}(\text{clip}(a, 0, 1)) \]
===3. 그래디언트 양자화 (Gradient Quantization)===
그래디언트는 역전파 시에도 저비트 정밀도를 유지하기 위해 확률적(stochastic) 양자화를 사용한다. \[ g_q = 2Q_{k_g}\left(\frac{\tanh(g)}{2\max(|\tanh(g)|)} + \frac{1}{2}\right) - 1 \] 이 확률적 양자화는 미분의 불연속성을 완화하여 학습 안정성을 확보한다.
==특징 및 장점==
*'''End-to-End 저정밀 학습 가능''' — FP32 연산에 의존하지 않고 forward/backward 모두 저비트로 처리.
*'''하드웨어 효율성''' — 8-bit 이하에서도 성능 유지, FPGA 및 모바일 환경에 적합.
*'''범용성''' — 다양한 CNN 구조(AlexNet, ResNet 등)에 적용 가능.
*'''속도 향상''' — 곱셈·덧셈 연산량 대폭 감소(MAC 수 약 3~5배 절약).
==한계==
*극단적인 저비트(예: 1~2bit)에서는 정확도 손실이 발생.
*Softmax나 BatchNorm 등 일부 연산은 여전히 FP32 정밀도로 유지해야 안정적.
*학습 초기 수렴이 느리며, LR(warmup) 조정 필요.
==참고 문헌==
*Zhou, Shuchang, et al. "DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients." arXiv preprint arXiv:1606.06160 (2016).
*Courbariaux, Matthieu, et al. "Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or −1." arXiv (2016).
*Rastegari, Mohammad, et al. "XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks." ECCV (2016).

== 각주 ==
[[분류:인공지능]]
[[분류:딥 러닝]]