위치 인코딩 편집하기 (부분)

==방식==
*'''고정 위치 인코딩(Fixed Positional Encoding)'''
**원 논문에서 제안된 방식으로, 사인(sin)과 코사인(cos) 함수를 이용해 위치를 주기적으로 표현한다.
**모든 길이에 대해 일반화가 가능하며, 추가 학습 파라미터가 필요 없다.
*'''학습 가능한 위치 임베딩(Learnable Positional Embedding)'''
**각 위치에 대해 임베딩 벡터를 학습하는 방식.
**BERT 등 여러 모델에서 사용된다.
**최대 길이가 사전에 정해져야 한다는 제약이 있다.
*'''상대적 위치 인코딩(Relative Positional Encoding)'''
**토큰 간 절대적 위치가 아니라 상대적 거리를 반영하는 방식.
**Transformer-XL, T5, DeBERTa 등에서 사용되며, 긴 문맥 학습에 유리하다.
*'''로터리 위치 임베딩(RoPE, Rotary Positional Embedding)'''
**벡터 공간에서 회전을 통해 상대적 위치를 반영하는 방식.
**LLaMA, GPT-NeoX 등 최신 대규모 언어 모델에서 널리 쓰인다.