트랜스포머 블록 편집하기 (부분)

==변형 및 응용==
트랜스포머 블록은 다양한 응용 영역과 최신 모델에서 여러 가지 변형이 존재한다:
*디코더 블록에서는 self-attention 외에 encoder-decoder 간 cross-attention 서브블록이 추가된다.
*활성화 함수나 정규화 위치를 바꾼 설계 (예: pre-norm, post-norm, GELU, SwiGLU 등)
*비전 트랜스포머(Vision Transformer)에서는 입력을 패치 단위로 쪼개어 블록에 입력하고, 블록 구조를 그대로 사용한다.
*긴 시퀀스 처리를 위한 효율화된 attention 구조 (sparse attention, 롱폼 시퀀스 대응 등)