저랭크 분해 편집하기

저랭크 분해(低階分解, 영어: Low-Rank Decomposition)는 행렬이나 텐서 등의 데이터를 더 낮은 차원의 구성 요소로 표현하여 계산 효율을 높이고 데이터의 잠재 구조를 추출하는 기법이다.  이는 복잡한 고차원 데이터를 단순화하면서도 본질적인 정보는 유지하려는 수학적 방법이다.
==개요==
행렬 A ∈ ℝ^{m×n}이 있을 때, 그 랭크(rank)가 r(< m,n)인 근사 행렬 Ă를 찾아 A ≈ Ă = U·V 형태로 표현하는 것을 저랭크 분해라 한다.  여기서 U ∈ ℝ^{m×r}, V ∈ ℝ^{r×n}이며, r은 원본 행렬보다 훨씬 작은 차원이다.  이 방법은 데이터가 고차원으로 보이지만 실제로는 몇 개의 잠재 요인(latent factor)으로 설명될 수 있다는 가정에 기반한다.
==수학적 정의==
저랭크 근사는 다음과 같은 최적화 문제로 정의된다.
:minimize ||A - B||_F  subject to rank(B) ≤ r
여기서 ||·||_F는 프로베니우스 노름(Frobenius norm)이다.  이 문제의 해는 특이값 분해(SVD, Singular Value Decomposition)를 이용해 A = UΣVᵀ로 나타내고, 상위 r개의 특이값(singular value)만 남긴 근사 행렬 Ă = U_rΣ_rV_rᵀ을 얻는 것이다.  이 원리는 Eckart–Young 정리에 의해 보장된다.
==주요 형태==
*SVD 기반 저랭크 근사: 가장 일반적인 방법으로, A의 주요 특이값만 보존한다.
*행렬 인수분해(Matrix Factorization): A ≈ U·V로 근사하며, U와 V를 반복 갱신(ALS, SGD 등)하여 최적화한다.
*랜덤화 저랭크 근사(Randomized Low-Rank Approximation): 매우 큰 행렬에 대해 계산 효율을 높이기 위해 무작위 투영이나 샘플링을 이용한다.
*저랭크+희소 분해(L+S Decomposition): A ≈ L + S로, L은 저랭크 행렬, S는 희소 행렬로 구성한다.
==활용 분야==
*추천 시스템: 사용자–아이템 평점 행렬을 저랭크 구조로 보고, 잠재 요인을 학습하여 미지의 평점을 예측한다.
*이미지 처리: 이미지 데이터를 저랭크 근사하여 압축하거나 노이즈를 제거한다.
*신경망 압축: 대형 신경망의 가중치 행렬을 저랭크 분해하여 파라미터 수를 줄이고 연산 속도를 높인다.
*커널 방법: 대형 커널 행렬을 저랭크 근사해 계산 복잡도를 줄인다.
==장점==
*계산 및 저장 비용 절감
*데이터의 잠재 구조 파악 가능
*차원 축소를 통한 시각화 및 해석 용이성 향상
==한계==
*원본 데이터가 저랭크 구조를 따르지 않으면 근사 오차가 커진다.
*적절한 랭크 r의 선택이 중요하며, 자동으로 결정하기 어렵다.
*완전한 SVD 계산은 대규모 행렬에서 계산 비용이 높다.
*잡음(noise)이나 희소성(sparsity)을 함께 고려해야 하는 경우 단순 저랭크 근사로는 부족하다.
==알고리즘 예시==
{| class="wikitable"
!방법!!특징!!장점!!한계
|-
|Truncated SVD||상위 r개의 특이값만 사용||최적 근사 제공||계산량 큼
|-
|Alternating Least Squares||U, V를 교대로 최적화||구현 용이||지역 최적해에 빠질 수 있음
|-
|Randomized SVD||무작위 투영 기반 근사||대형 데이터에 효율적||근사 정확도 낮을 수 있음
|-
|Robust PCA (L+S 분해)||저랭크+희소 모델||노이즈 처리 가능||계산 복잡도 높음
|}
==응용 예시==
*영화 추천 시스템(Matrix Factorization 기반)
*이미지 복원(노이즈 제거 및 결손 데이터 복원)
*자연어 처리(임베딩 차원 축소, 신경망 가중치 근사)
*로봇 비전 및 물리 시뮬레이션 데이터 압축
==결론==
저랭크 분해는 고차원 데이터를 단순화하면서 중요한 정보를 유지할 수 있는 강력한 수리적 도구이다.  데이터 분석, 신경망 최적화, 추천 시스템 등 다양한 분야에서 핵심 기술로 활용되고 있으며, 효율성과 해석 가능성을 동시에 제공한다.  다만 적용 시에는 근사 오차와 계산 비용, 랭크 선택 문제를 함께 고려해야 한다.
==같이 보기==
*[[특이값 분해]]
*[[차원 축소]]
*[[행렬 인수분해]]
*[[희소 행렬 분해]]
*[[모델 압축]]
==참고 문헌==
*Eckart, C. & Young, G. (1936). The approximation of one matrix by another of lower rank. Psychometrika.
*Zhang, R. (2021). Matrix Decomposition Series 6: Low-Rank Matrix Factorization. Medium.
*Epperly, E. (2021). Big Ideas in Applied Math: Low-Rank Matrices.
*Yang, J. (2020). Notes on Low-Rank Matrix Factorization. TU Delft.
==각주==
<references />
[[분류:인공지능]]
[[분류:통계학]]
[[분류:선형대수]]