대형 언어 모델 효율화 편집하기 (부분)

== 저랭크 분해 (Low-rank Decomposition for LLM) ==
저랭크 분해(Low-rank Decomposition)는 대규모 언어모델(LLM)의 파라미터를 효율적으로 줄이기 위한 대표적인 방법이다.  거대한 가중치 행렬을 두 개의 더 작은 행렬로 근사함으로써, 계산량과 저장 공간을 줄이면서도 모델의 표현력을 유지한다.

'''기본 개념'''
*일반적인 신경망에서는 거대한 가중치 행렬이 입력을 출력으로 변환한다.
*저랭크 분해는 이 큰 행렬을 두 개의 더 작은 행렬로 나누어 근사한다.
*이렇게 하면 모델은 전체 행렬을 학습하지 않고, 두 개의 더 작고 효율적인 행렬만 학습하게 된다.
*결과적으로 필요한 연산과 저장 공간이 크게 줄어든다.
'''장점'''
*학습 시 필요한 연산량이 감소하고, GPU 메모리 사용량이 줄어든다.
*가중치 수가 크게 줄어, 모델의 저장 공간이 절약된다.
*I/O 비용이 줄어 추론 속도가 빨라진다.
'''단점'''
*너무 작은 차원으로 근사하면 모델의 표현력이 손상되어 정확도가 급격히 떨어질 수 있다.
*최적의 차원 수(랭크)를 선택하는 과정이 쉽지 않다.

=== SVD 기반 접근 ===
*저랭크 분해는 수학적으로 ‘특이값 분해(SVD)’로 설명될 수 있다.
*하나의 가중치 행렬을 세 부분으로 나누어, 핵심 정보를 담은 중간 부분만 남기고 나머지를 제거한다.
*이렇게 하면 중요한 패턴은 유지하면서 불필요한 세부 정보를 제거할 수 있다.
*다만, 단순히 분해만 수행하면 연산량이 줄지 않고 오히려 늘어날 수 있다.
*따라서 실제 응용에서는 작은 특이값(영향이 적은 부분)을 제거하는 방식으로 최적화한다.

=== Transformer 구조에서의 적용 ===
*대규모 언어모델의 핵심 연산은 선형 변환과 어텐션 프로젝션에 집중되어 있다.
*이 부분에 저랭크 분해를 적용하면 다음과 같은 이점을 얻을 수 있다.
**연산량이 감소하여 추론 속도가 빨라진다.
**GPU 메모리와 저장 공간이 절감된다.
**KV 캐시(과거 토큰의 키·값 벡터)의 크기가 줄어들어 긴 문맥을 더 효율적으로 다룰 수 있다.

=== QSVD (Query–Key–Value 통합 저랭크 근사) ===
*QSVD는 Transformer의 Query, Key, Value 세 가지 선형 변환을 하나의 공통 구조로 결합하여 효율을 높인 방법이다.
*기존 방식에서는 Q, K, V 각각 별도의 행렬을 학습했지만, QSVD는 이를 하나로 묶어 공통 저차원 공간을 공유하도록 한다.
*이렇게 하면 세 변환 간의 중복된 정보를 줄이고, 필요한 계산과 저장 공간이 줄어든다.
*또한 캐시 메모리 사용량이 크게 감소하여 긴 입력 문장 처리 시 효율이 향상된다.
*이 접근은 시각·언어 융합 모델 등 멀티모달 구조에서도 유용하다.
'''특징'''
*Q, K, V를 병합하여 하나의 큰 행렬로 만든 뒤, 이를 저차원으로 근사한다.
*이후 다시 필요한 형태로 분리하면서 공통된 저차원 표현을 공유한다.
*동일한 크기의 모델에서도 더 적은 계산으로 비슷한 품질을 유지할 수 있다.

=== ASVD (Activation-Aware SVD) ===
*ASVD는 입력 데이터의 분포를 함께 고려하는 발전된 저랭크 분해 방식이다.
*기존 방법은 가중치 행렬만 보고 근사하기 때문에, 입력값의 크기나 분포에 따라 성능이 불안정할 수 있다.
*ASVD는 입력 활성값(activation)의 통계적 특징을 분석해, 각 채널별 중요도를 반영한다.
*이렇게 하면 특정 채널에 값이 과도하게 크거나 불균형할 때도 안정적으로 근사할 수 있다.
*결과적으로, 채널별 이상치(outlier)에 강건한 저랭크 근사가 가능해지고 LLM의 압축 안정성이 향상된다.

=== 기법 간 비교 ===
{| class="wikitable" style="text-align:center;"
!기법!!주요 개념!!장점!!한계
|-
|기본 저랭크 분해||가중치를 두 개의 작은 행렬로 근사||단순하고 구현이 쉬움||근사 차원 선택이 어려움
|-
|SVD 기반||가중치의 주요 성분만 남기고 나머지를 제거||정보 손실이 적고 수학적으로 안정적||입력 분포를 고려하지 않음
|-
|QSVD||Query/Key/Value를 통합하여 저차원 표현 공유||캐시 절약, 연산 효율 향상||구조 복잡, 추가 변환 필요
|-
|ASVD||입력 활성값의 통계까지 반영한 SVD||Outlier에 강건, 모델 안정성 향상||통계 계산과 구현이 복잡
|}


[[분류:인공지능]]
<references />
[[분류:딥 러닝]]
[[분류:대형 언어 모델]]