제로샷 가지치기 편집하기

제로샷 가지치기 또는 제로샷 프루닝(Zero-Shot Pruning)은 사전 학습된 신경망 모델을 추가 학습 없이 곧바로 [[신경망 가지치기|가지치기(pruning)]]하는 기법으로, 재학습(fine-tuning)이나 반복 최적화 없이 모델의 구조를 경량화하는 데 목적이 있다.
==개념==
*전통적인 프루닝은 모델 학습 중간 또는 이후에 반복적으로 가중치를 제거하고 재학습하는 절차를 필요로 한다.
*제로샷 프루닝은 이러한 과정을 생략하고, 이미 학습된 모델에 대해 한 번만 가지치기를 수행한다.
*"Zero-Shot"이란 용어는 모델을 '''추가 학습 없'''이 사용한다는 의미에서 유래하였다.
*주로 대규모 사전 학습 모델(예: BERT, GPT, ViT 등)을 효율적으로 경량화할 때 활용된다.
==주요 기법==
*'''Wanda (Pruning via Weight and Activation Dynamics Analysis)'''
**가중치의 크기뿐 아니라 활성화 반응(activation dynamics)을 반영하여 중요하지 않은 연결을 제거
**LLM(대규모 언어 모델)에서 적은 연산량으로 빠르게 적용 가능

*'''SparseGPT'''
**Hessian 행렬 근사를 기반으로 한 중요도 평가로, 레이어별로 제로샷 프루닝을 적용
**구조 손상을 최소화하면서도 연산량을 크게 줄이는 것이 특징

*'''ZeroQ'''
**양자화를 위한 통계적 특성(activation calibration)을 이용해 학습 없이 pruning을 수행
**프루닝과 양자화를 함께 고려한 경량화 프레임워크의 기초가 됨

*'''GRASP (Gradient Signal Preservation)'''
**초기 그래디언트 정보를 이용해 중요한 연결을 선택, 학습 없이도 모델 구조 손상을 최소화

*'''SNIP'''
**초기 그래디언트 기반 연결 중요도 측정으로 one-shot pruning 수행 가능
**학습 초기에 적용하지만 추가 학습이 없다는 점에서 제로샷 성격 포함
==장점==
*추가 학습(fine-tuning) 없이 경량화 가능 → 시간과 자원 절감
*대규모 사전 학습 모델을 빠르게 경량화하여 배포 가능
*일부 기법은 양자화 등 다른 최적화와 결합하여 사용 가능
==한계==
*학습 없이 프루닝하기 때문에 정확도 저하 위험이 있음
*데이터에 대한 의존성이 높을 수 있음 (예: calibration set 필요)
*민감한 구조나 태스크에서는 신중한 적용 필요
*구조적 프루닝과 결합 시 레이어 불균형 발생 가능성 존재
==응용==
*LLM 경량화: ChatGPT, LLaMA, GPT‑J 등 대형 모델을 Edge/모바일 환경에 배포하기 위한 사전 처리
*컴퓨터 비전: ViT, ConvNet 등 대형 백본(backbone) 모델의 경량화
*멀티태스크 학습: 다양한 태스크에 맞춰 별도 학습 없이 신속한 구조 최적화 가능
==같이 보기==
*[[모델 압축]]
*[[신경망 가지치기]]
*[[양자화 (인공지능)]]
*[[희소 행렬 압축]]
*[[복권 가설]]
==참고 문헌==
*Frantar, E., Alistarh, D. (2023). “SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot.” arXiv:2301.00774
*Sun, Z. et al. (2023). “Wanda: An Efficient and Effective Weight Pruning Approach via Weight Importance and Activation.” arXiv:2306.11695
*Lin, S. et al. (2020). “Dynamic Network Surgery for Efficient DNNs.” arXiv:1608.04493
*Lee, N. et al. (2019). “SNIP: Single-Shot Network Pruning based on Connection Sensitivity.” arXiv:1810.02340