블록별 자기지도 학습 편집하기 (부분)

==BIM (Block-Wise Self-Supervised Learning with MIM)==
'''BIM'''은 블록별 자기지도 학습의 대표적인 구현으로, Transformer 기반 이미지 인식 모델에 적용된 구조이다.<ref name="bim2023" />  BIM은 Masked Image Modeling(MIM)을 블록 단위로 수행하여 각 블록이 부분적인 복원 작업을 학습하도록 한다.
===BIM의 주요 특징===
*각 블록이 독립적인 자기지도 손실 \(L_b\)를 가짐.
*블록 간 activation은 학습 완료 시 즉시 폐기(discard).
*Memory usage가 전통적 MIM 대비 10–20배 절감.
*전체 정확도 손실은 약 1–2% 수준에 불과.
===구조 비교===
{| class="wikitable"
!구분!!전통적 MIM (Conventional)!!BIM (Block-wise)
|-
|손실 구조||전역 손실 하나(global loss)||블록별 로컬 손실(local loss)
|-
|메모리 사용||모든 layer activation 저장||블록 완료 시 메모리 해제
|-
|학습 형태||Global backpropagation||Local self-supervised backprop
|-
|효율성||낮음 (O(L) memory)||높음 (O(1) memory per block)
|}