반복적 가지치기 편집하기

반복적 가지치기(Iterative Pruning)는 신경망 모델의 불필요한 가중치를 점진적으로 제거하고, 각 단계마다 재학습(fine‑tuning)을 통해 성능 손실을 보정하는 방식이다.
==개념==
*한 번에 많은 가중치를 제거하면 모델 성능이 급격히 저하될 수 있기 때문에, 반복적으로 조금씩 제거하는 전략을 사용한다.
*각 반복 주기마다:
**중요도가 낮은 가중치 또는 구조를 제거
**제거 후 남은 부분에 대해 재학습을 수행하여 성능 회복
*이 과정을 여러 번 반복하면서 점진적으로 모델을 희소화(sparsification)한다.
==주요 알고리즘 및 예==
*'''Iterative Magnitude Pruning (IMP)'''
**절댓값이 작은 가중치들을 반복적으로 제거하고, 매 반복마다 남은 가중치를 재학습하거나 초기화 이전 상태로 되돌려 학습하는 방식이 자주 사용된다.

*'''DropNet'''
**노드 또는 필터 단위로 반복적 제거를 수행하는 방식이다.
**평균 활성화(post‑activation) 값이 낮은 노드 또는 필터부터 제거한다.

*'''AIP (Adversarial Iterative Pruning)'''
**채널 단위 반복적 프루닝과 지식 전달(knowledge transfer)을 결합한다.
**반복 단계별로 압축 성능을 유지하려는 방식이다.
==장점==
*점진적 제거로 인해 급격한 성능 저하를 방지할 수 있다.
*재학습 단계를 포함하므로 가지치기에 따른 손실을 완화할 수 있다.
*다양한 프루닝 강도(sparsity level)를 탐색하면서 성능‑효율 균형을 조정할 수 있다.
==단점 및 도전==
*반복 과정이 많아지면 시간 및 계산 비용이 커진다.
*매 반복마다 재학습이 필요하므로 전체 학습 시간이 크게 증가할 수 있다.
*과도한 반복 또는 잘못된 제거 기준은 오버피팅이나 불안정성을 유발할 수 있다.
*제거 기준 설정(예: 제거 비율, 중요도 척도)과 반복 횟수 조정이 하이퍼파라미터 최적화 문제로 작용할 수 있다.
==응용 및 활용==
*네트워크 압축 및 경량화
*복권 가설 탐색: 반복적 프루닝은 복권 가설과 밀접한 관련이 있다.
*멀티태스크 모델 병합: PackNet 등에서 반복적 프루닝을 활용하여 여러 태스크를 하나의 모델에 담는 연구들도 있다.
==같이 보기==
*[[제로샷 가지치기|제로샷 프루닝]]
*[[복권 가설]]
*[[모델 압축]]
*[[신경망 가지치기]]
[[분류:인공지능]]