블록별 자기지도 학습 편집하기 (부분)

==작동 원리==
===1. 전통적 자기지도 학습===
일반적인 자기지도 학습(Self-Supervised Learning, SSL)에서는 입력 데이터를 변형(masking, cropping 등)하고, 그 변형된 입력으로부터 원래의 정보를 복원하는 작업을 통해 표현을 학습한다.  예를 들어, Masked Image Modeling(MIM)은 이미지의 일부 패치를 가려(mask) 모델이 이를 복원하도록 학습시키는 방식이다.
===2. 블록별 자기지도 학습===
<nowiki>블록별 자기지도 학습에서는 위 구조를 블록 단위로 확장한다. \[ L_{\text{total}} = \sum_{b=1}^{B} L_b \] 여기서 각 \(L_b\)는 블록 \(b\)의 출력에 대해 계산되는 자기지도 손실이다.  즉, 모델은 전체적으로 하나의 큰 네트워크이지만,  훈련 과정에서는 블록별로 독립적인 표현 학습이 이루어진다.</nowiki>

각 블록의 학습 절차는 다음과 같다.
#Forward pass: Block_i의 출력을 계산.
#Local self-supervised loss 계산 (예: Masked Patch 복원 손실).
#Backward pass: 해당 블록 내부에서만 역전파 수행.
#Activation 메모리 해제(discard): Block_i 완료 시 GPU 메모리 반환.
이 방식은 각 블록이 자신의 입력·출력만을 사용해 학습하므로, 전역 역전파를 수행할 필요가 없다.