LoRA (인공지능) 편집하기 (부분)

==핵심 아이디어==
*'''저차원 보정 (Low-rank adaptation)'''
**ΔW를 직접 학습하지 않고, 두 개의 저차원 행렬 B, A로 분해하여 파라미터 수를 대폭 줄인다.
**예: \(4096\times4096\) 행렬(약 1.6억 파라미터)을 \(4096\times4 + 4\times4096 = 3.2만\) 파라미터로 근사.
**dense하되 정보가 저차원 subspace에 존재하기 때문에 희소성(sparsity)과는 다르다.
*'''기존 가중치 보존'''
**W₀는 고정(freeze)되어, 미세조정 중 원본 모델의 지식을 손상시키지 않는다.
*'''추론 효율'''
**학습 후 ΔW = BA를 W₀에 병합(merge)할 수 있어 추론 시 추가 연산이 없다.
*'''선형성 활용'''
**Transformer의 선형층은 본질적으로 선형연산이므로, low-rank 근사로 효율적인 보정이 가능하다.