DuQuant 편집하기 (부분)

==작동 원리==
DuQuant의 핵심 절차는 다음과 같다.
===회전 변환(Rotation Transformation)===
#입력 활성화(activation)에서 아웃라이어가 집중된 차원을 탐색한다.
#해당 차원을 포함하는 블록 단위(block-diagonal) 회전 행렬을 구성한다.
#이 행렬을 적용하여 아웃라이어 값을 주변 채널로 분산시킨다.
#동일한 회전을 가중치(weight) 행렬에도 적용하여 분포를 평탄화한다.
===순열 변환(Permutation Transformation)===
#회전 후에도 블록 간 아웃라이어 편차(block-wise variance)가 남을 수 있으므로, 지그재그 형태의 순열(permutation) 행렬을 적용해 채널 순서를 재배열한다.
#이를 통해 아웃라이어가 블록 전반에 고르게 분포되어, 이후 블록 단위 양자화 시 편차를 최소화한다.
===후속 회전 및 양자화===
#순열 이후 두 번째 회전을 적용해 분포를 더욱 고르게 만든다.
#마지막으로 가중치와 활성화를 4비트 수준(W4A4)으로 양자화한다.
#이 과정을 통해 DuQuant는 기존 기법 대비 높은 정확도와 효율성을 달성할 수 있다.