제로샷 가지치기 편집하기 (부분)

==주요 기법==
*'''Wanda (Pruning via Weight and Activation Dynamics Analysis)'''
**가중치의 크기뿐 아니라 활성화 반응(activation dynamics)을 반영하여 중요하지 않은 연결을 제거
**LLM(대규모 언어 모델)에서 적은 연산량으로 빠르게 적용 가능

*'''SparseGPT'''
**Hessian 행렬 근사를 기반으로 한 중요도 평가로, 레이어별로 제로샷 프루닝을 적용
**구조 손상을 최소화하면서도 연산량을 크게 줄이는 것이 특징

*'''ZeroQ'''
**양자화를 위한 통계적 특성(activation calibration)을 이용해 학습 없이 pruning을 수행
**프루닝과 양자화를 함께 고려한 경량화 프레임워크의 기초가 됨

*'''GRASP (Gradient Signal Preservation)'''
**초기 그래디언트 정보를 이용해 중요한 연결을 선택, 학습 없이도 모델 구조 손상을 최소화

*'''SNIP'''
**초기 그래디언트 기반 연결 중요도 측정으로 one-shot pruning 수행 가능
**학습 초기에 적용하지만 추가 학습이 없다는 점에서 제로샷 성격 포함