가지치기 (딥 러닝) 편집하기 (부분)

===평가기준===
가중치의 중요도를 평가하는 기준에 따라 다음과 같은 방식이 있다.*'''가중치 크기 기반 (Magnitude pruning)'''
**원리: 가중치의 절댓값이 임계치보다 작은 경우 중요하지 않다고 보고 제거한다.
**장점: 단순하고 구현이 쉽다.
**단점: 입력의 중요도를 반영하지 못하여 성능 저하 위험이 있다.

*'''기울기 기반 (Gradient pruning)'''
**원리: 학습 시 기울기가 작은 파라미터를 제거한다.
**장점: 학습 동역학을 고려할 수 있어 정교하다.
**단점: 시점과 데이터 분포에 따라 불안정할 수 있으며 계산량이 증가한다.

*'''헤세 행렬 기반 (Hessian pruning)'''
**원리: 손실 함수의 2차 미분(헤세 행렬)을 통해 손실 변화가 작은 파라미터를 제거한다.
**장점: 이론적으로 손실에 미치는 영향을 근사할 수 있다.
**단점: 대규모 신경망에서는 계산 비용이 매우 크다.

*'''학습 손실 변화 기반 (Training loss change pruning)'''
**원리: 특정 파라미터를 제거했을 때 학습 손실의 변화를 직접 평가한다.
**장점: 성능 저하를 최소화할 수 있다.
**단점: 계산량이 매우 크며, 대규모 데이터셋에서는 적용이 어렵다.