DuQuant 편집하기 (부분)

==동기 및 필요성==
*대형 언어 모델을 4비트(또는 그 이하)로 양자화할 때, 활성화 행렬 내의 거대한 아웃라이어가 스케일(scale) 산정과 양자화 오류의 주요 원인이 된다.
*기존의 양자화 기법들은 Normal Outliers만을 고려하거나 단순 스케일링 및 클리핑을 적용하는 수준에 머물러, Massive Outliers에 대한 대응이 충분하지 않았다.
*DuQuant는 아웃라이어를 단순히 제거하지 않고 회전 및 순열 변환을 통해 채널 전반에 분산시킴으로써 저비트 양자화의 안정성을 향상시킨다.