DuQuant 편집하기 (부분)

==장점 및 제약사항==
===장점===
*아웃라이어 분산을 통해 저비트 양자화(특히 W4A4)에서도 성능 저하가 작다.
*회전과 순열의 결합으로 가중치 및 활성화 양자화를 동시에 안정화할 수 있다.
*추가적인 학습 없이 포스트 트레이닝 단계에서 적용 가능하다.
*실제 적용 시 메모리 절감과 추론 속도 향상 효과가 보고되었다.
===제약사항 및 고려사항===
*회전 및 순열 변환으로 인해 약간의 연산 오버헤드가 발생한다.
*하드웨어가 회전 행렬 연산을 효율적으로 지원하지 않으면 속도 이점이 줄어든다.
*블록 크기(block size), 회전 탐색 횟수(max rotation step) 등 하이퍼파라미터에 따라 결과가 달라질 수 있다.
*현재는 주로 Transformer 계열 모델에서 검증되었으며, 다른 아키텍처 적용 연구는 진행 중이다.