대형 언어 모델 효율화 편집하기 (부분)

=== 기법 간 비교 ===
{| class="wikitable" style="text-align:center;"
!기법!!주요 개념!!장점!!한계
|-
|기본 저랭크 분해||가중치를 두 개의 작은 행렬로 근사||단순하고 구현이 쉬움||근사 차원 선택이 어려움
|-
|SVD 기반||가중치의 주요 성분만 남기고 나머지를 제거||정보 손실이 적고 수학적으로 안정적||입력 분포를 고려하지 않음
|-
|QSVD||Query/Key/Value를 통합하여 저차원 표현 공유||캐시 절약, 연산 효율 향상||구조 복잡, 추가 변환 필요
|-
|ASVD||입력 활성값의 통계까지 반영한 SVD||Outlier에 강건, 모델 안정성 향상||통계 계산과 구현이 복잡
|}


[[분류:인공지능]]
<references />
[[분류:딥 러닝]]
[[분류:대형 언어 모델]]