대형 언어 모델 효율화 편집하기

본 문서는 대형 언어 모델(Large Language Model, LLM)의 저장 공간 및 연산 효율을 개선하기 위한 대표적 기법들을 정리한 것이다.  주요 방향은 '''양자화(Quantization)''', '''가지치기(Pruning)''', '''지식 증류(Knowledge Distillation)'''이며,  LoRA, SmoothQuant, MoE 등 최신 기법들도 포함된다.

==양자화 (Quantization)==
모델의 가중치(weight)와 활성값(activation)을 부동소수(FP32) 대신 정수(INT8, INT4 등)로 표현하여  메모리와 연산량을 줄이는 기술이다. [[신경망 양자화]]에 관한 일반적 내용은 해당 문서에서 확인할 수 있다.

'''주요 방식'''
*정적 양자화 (Static Quantization)
**사전 수집된 데이터셋으로 scale과 zero-point를 미리 계산.
*동적 양자화 (Dynamic Quantization)
**실행 시점에 활성값을 실시간으로 양자화.
*후처리 양자화 (Post-training Quantization, PTQ)
**학습된 모델에 재학습 없이 양자화를 적용.
*양자화 인식 학습 (Quantization-Aware Training, QAT)
**학습 단계에서 양자화 효과를 모의(simulation)하여 정확도 손실을 최소화.
'''세분화 수준 (Granularity)'''
*Tensor-based quantization
*Vector-based quantization
*Group-based quantization
'''Outlier 관리'''

LLM은 모델 특성상 다른 DNN에 비해 [[이상치]]가 두드러지므로 이에 대한 별도 처리를 하지 않으면 같은 [[신경망 양자화 기법]]을 적용했을 때 특히 손실이 크다. 따라서 LLM용 Outlier 관리 기법이 별도로 중요하게 사용된다.
*Massive Activation
*Channel-wise Outlier
*Clip Activation / Clip Weight
'''LLM 특화 양자화 기법'''
*[[SmoothQuant|'''SmoothQuant''' (ICML 2023)]]
**활성값의 outlier 문제를 가중치 쪽으로 이전(migrate)하여 양자화 오차를 줄임.
**수식:  Y = (X·diag(s)^(-1))·(diag(s)·W)
**α 하이퍼파라미터로 activation–weight 균형 제어.
*'''GPTQ''' (Quantization by Gradient Descent)
**학습 후 Hessian 근사 기반 최적화 양자화.
*'''AWQ''' (Activation-aware Weight Quantization)
**Calibration 단계에서 outlier-aware scaling 적용.
*'''ZeroQuant''' (Microsoft, 2022)
**End-to-end 자동 양자화 파이프라인.
==가지치기 (Pruning)==
불필요하거나 기여도가 낮은 가중치를 제거하여 모델 크기를 줄이고 추론 속도를 향상시키는 방법. [[신경망 가지치기]]에 대한 일반적 내용은 해당 문서 참조

'''LLM 특화 프루닝 기법'''
*'''KV Cache Pruning''' <ref>Ge, Suyu, et al. "Model tells you what to discard: Adaptive KV cache compression for LLMs." arXiv, 2023.  </ref>
**Key/Value 벡터(Kᵢⱼ, Vᵢⱼ)를 토큰 중요도 기반으로 압축.  
**Attention score에 따라 불필요한 KV를 삭제하여 메모리 사용량 감소.  

*'''Wanda (Weight and Activation Aware Pruning)''' <ref>arXiv:2306.11695, 2023.  </ref>
**Magnitude뿐 아니라 Activation 크기를 반영하여 중요도를 계산.  
**LLM 구조에 최적화된 post-training pruning 기법.  

*'''Streaming-LLM'''<ref>Xiao, Guangxuan, et al. "Efficient streaming language models with attention sinks." arXiv, 2023.  </ref>
**Attention Sink 문제를 완화하며, 초기 토큰의 KV를 부분 유지.  
**Sliding Window Attention과 KV 캐시 재활용을 결합하여 효율적 스트리밍 추론 구현.  

== 저랭크 분해 (Low-rank Decomposition for LLM) ==
저랭크 분해(Low-rank Decomposition)는 대규모 언어모델(LLM)의 파라미터를 효율적으로 줄이기 위한 대표적인 방법이다.  거대한 가중치 행렬을 두 개의 더 작은 행렬로 근사함으로써, 계산량과 저장 공간을 줄이면서도 모델의 표현력을 유지한다.

'''기본 개념'''
*일반적인 신경망에서는 거대한 가중치 행렬이 입력을 출력으로 변환한다.
*저랭크 분해는 이 큰 행렬을 두 개의 더 작은 행렬로 나누어 근사한다.
*이렇게 하면 모델은 전체 행렬을 학습하지 않고, 두 개의 더 작고 효율적인 행렬만 학습하게 된다.
*결과적으로 필요한 연산과 저장 공간이 크게 줄어든다.
'''장점'''
*학습 시 필요한 연산량이 감소하고, GPU 메모리 사용량이 줄어든다.
*가중치 수가 크게 줄어, 모델의 저장 공간이 절약된다.
*I/O 비용이 줄어 추론 속도가 빨라진다.
'''단점'''
*너무 작은 차원으로 근사하면 모델의 표현력이 손상되어 정확도가 급격히 떨어질 수 있다.
*최적의 차원 수(랭크)를 선택하는 과정이 쉽지 않다.

=== SVD 기반 접근 ===
*저랭크 분해는 수학적으로 ‘특이값 분해(SVD)’로 설명될 수 있다.
*하나의 가중치 행렬을 세 부분으로 나누어, 핵심 정보를 담은 중간 부분만 남기고 나머지를 제거한다.
*이렇게 하면 중요한 패턴은 유지하면서 불필요한 세부 정보를 제거할 수 있다.
*다만, 단순히 분해만 수행하면 연산량이 줄지 않고 오히려 늘어날 수 있다.
*따라서 실제 응용에서는 작은 특이값(영향이 적은 부분)을 제거하는 방식으로 최적화한다.

=== Transformer 구조에서의 적용 ===
*대규모 언어모델의 핵심 연산은 선형 변환과 어텐션 프로젝션에 집중되어 있다.
*이 부분에 저랭크 분해를 적용하면 다음과 같은 이점을 얻을 수 있다.
**연산량이 감소하여 추론 속도가 빨라진다.
**GPU 메모리와 저장 공간이 절감된다.
**KV 캐시(과거 토큰의 키·값 벡터)의 크기가 줄어들어 긴 문맥을 더 효율적으로 다룰 수 있다.

=== QSVD (Query–Key–Value 통합 저랭크 근사) ===
*QSVD는 Transformer의 Query, Key, Value 세 가지 선형 변환을 하나의 공통 구조로 결합하여 효율을 높인 방법이다.
*기존 방식에서는 Q, K, V 각각 별도의 행렬을 학습했지만, QSVD는 이를 하나로 묶어 공통 저차원 공간을 공유하도록 한다.
*이렇게 하면 세 변환 간의 중복된 정보를 줄이고, 필요한 계산과 저장 공간이 줄어든다.
*또한 캐시 메모리 사용량이 크게 감소하여 긴 입력 문장 처리 시 효율이 향상된다.
*이 접근은 시각·언어 융합 모델 등 멀티모달 구조에서도 유용하다.
'''특징'''
*Q, K, V를 병합하여 하나의 큰 행렬로 만든 뒤, 이를 저차원으로 근사한다.
*이후 다시 필요한 형태로 분리하면서 공통된 저차원 표현을 공유한다.
*동일한 크기의 모델에서도 더 적은 계산으로 비슷한 품질을 유지할 수 있다.

=== ASVD (Activation-Aware SVD) ===
*ASVD는 입력 데이터의 분포를 함께 고려하는 발전된 저랭크 분해 방식이다.
*기존 방법은 가중치 행렬만 보고 근사하기 때문에, 입력값의 크기나 분포에 따라 성능이 불안정할 수 있다.
*ASVD는 입력 활성값(activation)의 통계적 특징을 분석해, 각 채널별 중요도를 반영한다.
*이렇게 하면 특정 채널에 값이 과도하게 크거나 불균형할 때도 안정적으로 근사할 수 있다.
*결과적으로, 채널별 이상치(outlier)에 강건한 저랭크 근사가 가능해지고 LLM의 압축 안정성이 향상된다.

=== 기법 간 비교 ===
{| class="wikitable" style="text-align:center;"
!기법!!주요 개념!!장점!!한계
|-
|기본 저랭크 분해||가중치를 두 개의 작은 행렬로 근사||단순하고 구현이 쉬움||근사 차원 선택이 어려움
|-
|SVD 기반||가중치의 주요 성분만 남기고 나머지를 제거||정보 손실이 적고 수학적으로 안정적||입력 분포를 고려하지 않음
|-
|QSVD||Query/Key/Value를 통합하여 저차원 표현 공유||캐시 절약, 연산 효율 향상||구조 복잡, 추가 변환 필요
|-
|ASVD||입력 활성값의 통계까지 반영한 SVD||Outlier에 강건, 모델 안정성 향상||통계 계산과 구현이 복잡
|}


[[분류:인공지능]]