신경망 양자화 편집하기 (부분)

== 대칭 양자화 vs 비대칭 양자화 ==

양자화 방식은 스케일(scale)을 중심값 0 기준으로 잡느냐, 혹은 임의의 최소·최대값 기준으로 잡느냐에 따라  
'''대칭형(Symmetric)''' 과 '''비대칭형(Asymmetric)''' 으로 구분된다.

=== 대칭 양자화 (Symmetric Quantization) ===
* 클리핑 범위: (-L, L)  
* 0을 중심으로 양쪽이 대칭  
* 스케일 계산: s = 2L / (2^b - 2)  
* 정수 변환: x_int = round(x / s)  
* 복원: x_q = s × x_int  
* 0이 항상 정수 표현 내에 존재하므로 계산 단순  
* 주로 '''가중치(weight)''' 양자화에 사용됨  

예시:  
실수 X = [1.1, 2.4, -0.3, 0.8], 비트 수 b=3, L=2  
→ 스케일 s = 4 / 6 = 0.667  
→ 정수화 Xint = [2, 3, 0, 1]  
→ 복원 Xq = [1.33, 2.0, 0.0, 0.67]

=== 비대칭 양자화 (Asymmetric Quantization) ===
* 클리핑 범위: (Lmin, Lmax)  
* 데이터 분포가 0 기준으로 비대칭일 때 사용 (예: ReLU 이후 활성값)  
* 스케일 계산: s = (Lmax - Lmin) / (2^b - 1)  
* 정수 변환: x_int = round((x - Lmin) / s)  
* 복원: x_q = s × x_int + Lmin  
* 0이 반드시 정수로 표현되지 않으며, zero point(제로포인트) 관리가 필요  
* 주로 '''활성값(activation)''' 양자화에 사용됨  

예시:  
X = [1.1, 2.4, -0.3, 0.8], Lmax=2, Lmin=-0.5, b=3  
→ s = (2 - (-0.5)) / 7 = 0.357  
→ x_int = [4, 7, 1, 4]  
→ x_q = [0.93, 2.0, -0.14, 0.93]

{| class="wikitable"
! 구분 !! 범위 !! 중심 기준 !! 스케일 계산식 !! 0의 표현 여부 !! 주요 사용처
|-
| 대칭형 || (-L, L) || 0 중심 || 2L / (2^b - 2) || 항상 존재 || 가중치
|-
| 비대칭형 || (Lmin, Lmax) || 데이터 분포 중심 || (Lmax - Lmin)/(2^b - 1) || 존재하지 않을 수도 있음 || 활성값
|}

요약하면,  
* 대칭형은 계산이 단순하고 하드웨어 구현이 용이하지만 음수·양수 분포를 가정한다.  
* 비대칭형은 실제 데이터 분포를 더 잘 반영하지만, 스케일과 제로포인트를 함께 관리해야 한다.