지식 증류 편집하기 (부분)

==주요 종류==
*'''Response-based Distillation'''
**Teacher의 최종 출력(logit 또는 soft label)을 활용하여 Student 모델을 지도.
**Soft label이 hard label보다 더 풍부한 정보(클래스 유사도)를 제공.
**Student의 loss = α·Distillation Loss + (1−α)·Cross-Entropy Loss.
*'''Feature-based Distillation'''
**Teacher의 중간 feature map 출력을 추출하여 Student 가 feature level 에서도 교사 모델의 표현을 따라가도록 지도.
**학습 수렴 속도를 높이고 일반화 성능을 개선. <ref>Srivastava, Rupesh K., Klaus Greff, and Jürgen Schmidhuber. "Training very deep networks." NeurIPS 28 (2015).</ref>
*'''Hint-based Distillation (FitNets)'''
**얕고 가벼운 Student가 깊은 Teacher feature를 L2 distance 기반으로 맞추도록 지도. <ref>Romero, Adriana, et al. "FitNets: Hints for thin deep nets." arXiv:1412.6550 (2014).</ref>
*'''Online Distillation (Deep Mutual Learning)'''
**여러 Student 모델이 동시에 학습하며 서로의 출력을 교환해 지식을 공유. <ref>Zhang, Ying, et al. "Deep mutual learning." CVPR (2018).</ref>
*'''Self Distillation'''
**Teacher 없이 자기 자신의 깊은 층 출력을 얕은 층에 지도하여 내부 지식을 전이.
**결정 경계를 부드럽게 하고 overfitting을 줄임. <ref>Zhang, Linfeng, et al. "Be your own teacher." ICCV (2019).</ref>
*'''Teacher-Assistant Distillation'''
**Teacher 와 Student 사이 크기 격차가 너무 클 때 중간 크기의 TA (Teacher Assistant)를 두어 단계적으로 전이. <ref>Mirzadeh, Seyed Iman, et al. "Improved knowledge distillation via teacher assistant." AAAI (2020).</ref>
*'''Multi-Teacher Distillation'''
**여러 Teacher의 출력을 평균 또는 가중 조합하여 Student를 학습. <ref>You, Shan, et al. "Learning from multiple teacher networks." KDD (2017).</ref>
*'''Cross-Modal Distillation'''
**서로 다른 도메인(예: 분류 → 세그멘테이션, 텍스트 ↔ 비전) 간 지식을 전이하여 레이블이 적은 과제를 보완.
*'''Distillation for Quantization/Pruning'''
**Quantization-aware Training(QAT)이나 Iterative Pruning 중 손실 보상을 위해 Teacher 출력으로 보정.
**압축 모델의 성능 저하를 완화.
*'''Step-by-Step Distillation for LLM'''
**대형 언어모델(LLM)이 생성한 정답 및 이유(rationale)를 작은 모델이 학습하는 새로운 증류 방식. <ref>Hsieh, Cheng-Yu, et al. "Distilling step-by-step!" arXiv:2305.02301 (2023).</ref>
**Chain-of-Thought (CoT) 추론을 통해 다단계 추론 능력을 전이. <ref>Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in LLMs." NeurIPS 35 (2022).</ref>