가지치기 (딥 러닝) 편집하기

가지치기(영어: Pruning)는 딥 러닝에서 신경망의 불필요한 파라미터(가중치나 뉴런 연결)를 제거하여 모델의 크기를 줄이고 연산 효율을 높이는 기법이다. 이는 나무의 불필요한 가지를 잘라내는 원예 작업에서 유래한 용어로, 신경망의 성능은 유지하면서도 경량화를 달성하기 위해 사용된다.
==개요==
*딥 러닝 모델은 수백만~수십억 개의 파라미터를 가지며, 이 중 일부는 학습 결과에 크게 기여하지 않는다.
*가지치기는 중요도가 낮은 파라미터를 제거하여, 계산량(MACs, FLOPs)을 줄이고 메모리 사용량을 절감한다.
*모델 압축, 지연 시간(latency) 단축, 에너지 절약 등을 위해 활용된다.
==방법==
*'''가중치 기반 가지치기'''
**절댓값이 작은 가중치를 제거하여 희소성을 높이는 방식
*'''뉴런/채널 가지치기'''
**특정 뉴런, 채널, 필터 단위로 제거하여 구조적 단순화를 유도
*'''구조적 가지치기'''
**네트워크의 블록이나 레이어 단위로 제거
*'''비구조적 가지치기'''
**개별 파라미터 단위로 제거 → 메모리는 절약되지만 하드웨어 가속기에서 비효율적일 수 있음
==특징==
*'''장점'''
**모델 크기 감소 및 저장 공간 절약
**추론 속도 향상, 지연 시간 단축
**저전력 디바이스(모바일, IoT)에서 실행 가능
*'''단점'''
**잘못 가지치기하면 정확도가 크게 하락할 수 있음
**재학습(fine-tuning)이 필요한 경우가 많음
**최적의 가지치기 기준을 찾는 것이 어렵다
==관련 기법==
*[[양자화 (딥 러닝)]] : 파라미터를 저비트 정밀도로 변환하여 모델 크기를 줄임
*[[지식 증류]] : 큰 모델의 지식을 작은 모델로 전이
*[[희소 데이터]] : 가지치기 결과 모델은 희소 행렬 형태가 되므로 관련 알고리즘과 밀접한 연관
*[[모델 압축]]
==응용==
*모바일 및 임베디드 장치에서의 경량 신경망
*대규모 언어 모델(LLM) 경량화
*에너지 효율적 인공지능 시스템 설계
==같이 보기==
*[[모델 압축]]
*[[양자화 (딥 러닝)]]
*[[지식 증류]]
*[[희소 데이터]]
==참고 문헌==
*Song Han, Jeff Pool, John Tran, William J. Dally. ''Learning both Weights and Connections for Efficient Neural Networks''. NeurIPS 2015.
*Molchanov, P., et al. ''Pruning Convolutional Neural Networks for Resource Efficient Transfer Learning''. ICLR 2017.
==각주==
<references />
[[분류:인공지능]]
[[분류:딥 러닝]]