합성곱 신경망 편집하기 (부분)

==효율화 및 가지치기(Pruning)==
CNN의 합성곱 층은 계산 비용이 매우 크므로, 연산 효율을 높이기 위해 다양한 [[가지치기 (딥 러닝)|'''가지치기''']] 방법이 사용된다.

===Weight Pruning (가중치 가지치기)===
* 특정 비율의 가중치를 0으로 만들어 희소(sparse) 행렬을 형성.
* 연산량은 (1-p) 배로 감소 (p는 제거된 비율).
* 희소 가중치는 메모리 효율적으로 저장할 수 있음.

===Activation Pruning (활성화 가지치기)===
* ReLU 등으로 인해 출력 활성값이 50% 이상 0이 되는 경우 많음.
* 입력 활성화도 pruning하면 연산량을 추가 절감 가능.
* 단, 온라인 처리가 필요해 추가적인 정렬 비용이 발생.

===Structured vs. Unstructured Pruning===
* Unstructured pruning: 개별 weight 제거 → 정확도 손실이 적지만 하드웨어 최적화 어려움.
* Structured pruning: 필터, 채널 단위로 제거 → 하드웨어 친화적이지만 정확도 손해 발생.
* N:M sparsity: 구조화와 비구조화의 절충안 (예: 2:4 sparsity, 4개 중 2개 유지). Nvidia V100 GPU에서 지원됨.

===Network Slimming===
* Batch Normalization의 스케일링 인자에 [[L1 정규화]]를 추가해 불필요한 채널을 자동 식별.
* 학습 과정에서 자연스럽게 중요하지 않은 채널이 제거됨.

===Cascade Effect (계단식 효과)===
* 한 층에서 필터가 제거되면, 다음 층에서도 입력 채널 수가 줄어 추가 희소성이 발생.
* CNN의 pruning은 단일 레이어가 아니라 연속된 레이어에 파급효과를 미침.