트랜스포머 (인공지능) 편집하기 (부분)

==개요==
트랜스포머는 기존의 순환 신경망(RNN)이나 합성곱 신경망(CNN) 구조의 한계를 극복하고, 모든 입력 시퀀스를 병렬로 처리할 수 있도록 설계되었다. 핵심 구성 요소인 Self-Attention은 각 단어(토큰)가 문맥 내 다른 단어들과 어떤 관계를 가지는지를 학습하여, 문맥을 반영한 표현을 생성할 수 있도록 한다.

트랜스포머는 이후 GPT, BERT, T5 등 다양한 언어 모델의 기반이 되었으며, 이들 모델은 각각 트랜스포머 구조를 응용하거나 변형한 형태로 구현되어 있다.