가지치기 (딥 러닝)

가지치기(영어: Pruning)는 딥 러닝에서 신경망의 불필요한 파라미터(가중치나 뉴런 연결)를 제거하여 모델의 크기를 줄이고 연산 효율을 높이는 기법이다. 이는 나무의 불필요한 가지를 잘라내는 원예 작업에서 유래한 용어로, 신경망의 성능은 유지하면서도 경량화를 달성하기 위해 사용된다.

개요

• 딥 러닝 모델은 수백만~수십억 개의 파라미터를 가지며, 이 중 일부는 학습 결과에 크게 기여하지 않는다.
• 가지치기는 중요도가 낮은 파라미터를 제거하여, 계산량(MACs, FLOPs)을 줄이고 메모리 사용량을 절감한다.
• 모델 압축, 지연 시간(latency) 단축, 에너지 절약 등을 위해 활용된다.

방법

• 가중치 기반 가지치기
  • 절댓값이 작은 가중치를 제거하여 희소성을 높이는 방식
• 뉴런/채널 가지치기
  • 특정 뉴런, 채널, 필터 단위로 제거하여 구조적 단순화를 유도
• 구조적 가지치기
  • 네트워크의 블록이나 레이어 단위로 제거
• 비구조적 가지치기
  • 개별 파라미터 단위로 제거 → 메모리는 절약되지만 하드웨어 가속기에서 비효율적일 수 있음

특징

• 장점
  • 모델 크기 감소 및 저장 공간 절약
  • 추론 속도 향상, 지연 시간 단축
  • 저전력 디바이스(모바일, IoT)에서 실행 가능
• 단점
  • 잘못 가지치기하면 정확도가 크게 하락할 수 있음
  • 재학습(fine-tuning)이 필요한 경우가 많음
  • 최적의 가지치기 기준을 찾는 것이 어렵다

관련 기법

• 양자화 (딥 러닝) : 파라미터를 저비트 정밀도로 변환하여 모델 크기를 줄임
• 지식 증류 : 큰 모델의 지식을 작은 모델로 전이
• 희소 데이터 : 가지치기 결과 모델은 희소 행렬 형태가 되므로 관련 알고리즘과 밀접한 연관
• 모델 압축

응용

• 모바일 및 임베디드 장치에서의 경량 신경망
• 대규모 언어 모델(LLM) 경량화
• 에너지 효율적 인공지능 시스템 설계

같이 보기

• 모델 압축
• 양자화 (딥 러닝)
• 지식 증류
• 희소 데이터

참고 문헌

• Song Han, Jeff Pool, John Tran, William J. Dally. Learning both Weights and Connections for Efficient Neural Networks. NeurIPS 2015.
• Molchanov, P., et al. Pruning Convolutional Neural Networks for Resource Efficient Transfer Learning. ICLR 2017.