트랜스포머 (인공지능)

Transformer; 트랜스포머

순환·합성곱 없이 어텐션만으로 시퀀스의 모든 위치를 한꺼번에 연결해 처리하는 신경망 구조

트랜스포머(Transformer)는 2017년 구글 연구진이 논문 〈Attention Is All You Need〉에서 제안한 딥 러닝 모델 구조다. 그때까지 기계 번역 같은 시퀀스 변환 문제의 주력이던 순환 신경망(RNN)과 합성곱 신경망(CNN)을 버리고, 시퀀스 안의 모든 위치 쌍을 어텐션으로 직접 연결했다. 순환이 없으므로 학습 때 시퀀스 전체를 병렬로 계산할 수 있고, 멀리 떨어진 두 토큰 사이의 정보도 한 층 안에서 바로 오간다.

원래는 영어-독일어, 영어-프랑스어 번역용 인코더-디코더 모델이었지만, 이후 인코더만 쓰는 BERT, 디코더만 쓰는 GPT 계열, 인코더-디코더를 유지한 T5가 나오면서 자연어 처리의 표준 구조가 되었다. 2020년대에는 이미지(비전 트랜스포머), 음성 인식, 이미지·영상 생성(확산 모델의 백본), 단백질 구조 예측까지 퍼져 대형 언어 모델과 파운데이션 모델 대부분의 뼈대가 되었다.

이 문서는 트랜스포머 전체를 조망하는 허브다. 셀프 어텐션, 위치 인코딩, 인과 마스킹, 레이어 정규화, KV 캐시 같은 구성 요소의 세부는 각 문서에 있고, 여기서는 구성 요소가 어떻게 맞물리는지, 어떤 변형이 어떤 계보로 갈라졌는지, 계산량이 어디서 나오는지를 정리한다.

등장 배경

2014년 무렵 신경망 기계 번역은 시퀀스-투-시퀀스 구조가 주류였다. 인코더 RNN이 입력 문장을 고정 길이 벡터 하나로 압축하고, 디코더 RNN이 그 벡터에서 번역문을 한 단어씩 생성한다. 이 방식에는 세 가지 문제가 있었다.

• 정보 병목: 긴 문장을 고정 길이 벡터 하나에 담아야 한다. 조경현 등은 문장이 길어질수록 번역 성능이 급격히 떨어진다는 분석을 내놓았다.
• 장거리 의존성: 정보가 시간 단계를 하나씩 거쳐 전달되므로 멀리 떨어진 단어의 영향이 약해진다. LSTM과 GRU가 게이트로 이를 완화했지만 없애지는 못했다.
• 순차 계산: t번째 은닉 상태를 구하려면 t-1번째가 끝나야 하므로, 학습 때도 시퀀스 길이 방향으로 병렬화할 수 없다. GPU의 병렬 연산 능력을 다 쓰지 못한다.

2014년 바다나우(Dzmitry Bahdanau)·조경현·벤지오는 디코더가 단어를 만들 때마다 입력 문장의 어느 부분을 볼지 스스로 가중치를 매기는 어텐션을 도입해 첫 번째 문제를 풀었다. 하지만 이 모델의 뼈대는 여전히 RNN이었다. 트랜스포머는 여기서 한 걸음 더 나가 순환을 아예 없애고, 인코더와 디코더 내부까지 전부 어텐션으로 바꾸었다. 논문 제목 "Attention Is All You Need"가 이 발상을 그대로 드러낸다. 자세한 발표 경위와 저자는 Attention is All You Need (논문) 문서 참고.

논문의 큰 모델은 WMT 2014 영어-독일어 번역에서 BLEU 28.4, 영어-프랑스어에서 단일 모델 최고치인 BLEU 41.8을 기록했고, 영어-프랑스어 모델 학습에는 GPU 8장으로 3.5일이 걸렸다. 저자들은 이것이 기존 최고 모델들의 학습 비용에 비해 극히 일부라고 밝혔다.

전체 구조

원래의 트랜스포머는 인코더 스택과 디코더 스택으로 이루어진 인코더-디코더 모델이다.

부분	층 하나의 구성	입력	출력
인코더	멀티헤드 셀프 어텐션 → 위치별 피드포워드 신경망	원문 토큰 임베딩 + 위치 인코딩	원문 각 토큰의 문맥 반영 표현
디코더	마스크드 멀티헤드 셀프 어텐션 → 인코더-디코더(교차) 어텐션 → 위치별 피드포워드 신경망	지금까지 생성한 번역문(한 칸 오른쪽으로 민 것) + 위치 인코딩	다음 토큰의 확률 분포(선형층 + 소프트맥스)

각 부분층(sub-layer)은 잔차 연결로 감싸고 그 뒤에 층 정규화를 둔다. 즉 부분층의 출력은 $\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}(x+\mathrm{S}\mathrm{u}\mathrm{b}\mathrm{l}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}(x))$이다. 인코더와 디코더는 같은 구조의 층을 N개 쌓는다. 인코더 층과 디코더 층을 하나의 단위로 보는 관점은 트랜스포머 블록 문서에 정리되어 있다.

논문이 제시한 두 가지 크기의 설정은 다음과 같다.

설정	층 수 N	모델 차원 dmodel	FFN 내부 차원 dff	헤드 수 h	헤드당 차원 dk=dv	드롭아웃	매개변수
base	6	512	2048	8	64	0.1	약 6,500만
big	6	1024	4096	16	64	0.3(영어-프랑스어는 0.1)	약 2억 1,300만

정보 흐름

1. 입력 문장을 토큰으로 나누고(토큰화) 각 토큰을 d_model차원 벡터로 바꾼다(임베딩). 원 논문은 임베딩에 $\sqrt{d_{model}}$을 곱한 뒤 위치 인코딩을 더한다.
2. 인코더 층을 거칠 때마다 각 토큰 벡터는 셀프 어텐션으로 다른 모든 토큰의 정보를 섞고, FFN으로 위치별 비선형 변환을 받는다.
3. 디코더는 이미 생성한 토큰들에 대해 마스크드 셀프 어텐션을 하고, 교차 어텐션으로 인코더 출력을 참조한 뒤 FFN을 거친다.
4. 디코더 마지막 층의 출력을 어휘 크기의 선형층과 소프트맥스에 통과시켜 다음 토큰 확률을 얻는다. 원 논문은 입력 임베딩, 출력 임베딩, 소프트맥스 직전 선형층의 가중치를 공유했다.

구성 요소

스케일드 닷프로덕트 어텐션

트랜스포머의 기본 연산이다. 각 토큰 벡터에서 쿼리(Query), 키(Key), 값(Value) 세 벡터를 선형 변환으로 만들고, 쿼리와 모든 키의 내적으로 유사도를 구해 소프트맥스로 가중치를 만든 뒤 값 벡터를 가중합한다.

$\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V$

$\sqrt{d_k}$로 나누는 이유는 차원이 클수록 내적 값의 분산이 커져 소프트맥스가 한쪽으로 쏠리고 기울기가 아주 작아지기 때문이다. 쿼리·키·값이 모두 같은 시퀀스에서 나오면 셀프 어텐션, 쿼리는 디코더에서 키·값은 인코더에서 나오면 교차 어텐션(cross-attention)이라고 한다. 어텐션의 일반론과 역사는 어텐션 메커니즘, 셀프 어텐션의 계산 예시는 셀프 어텐션 문서 참고.

멀티헤드 어텐션

d_model차원 전체로 어텐션을 한 번 하는 대신, 쿼리·키·값을 h개의 낮은 차원 부분 공간으로 각각 투영해 h번 따로 어텐션한 뒤 이어 붙인다.

$\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{H}\mathrm{e}\mathrm{a}\mathrm{d}(Q,K,V)=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}({\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}_1,\dots ,{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}_h)W^O,{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}_i=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$

헤드마다 다른 관계(예: 구문 관계, 지시 관계)를 따로 볼 수 있다는 것이 설계 의도다. 헤드당 차원을 d_model/h로 줄이므로 전체 계산량은 단일 헤드 어텐션과 비슷하다. 이후 추론 속도를 위해 키·값 헤드를 하나만 두는 멀티쿼리 어텐션(MQA), 그 중간인 그룹 쿼리 어텐션(GQA)이 나왔다. 둘 다 디코딩 때 읽어야 하는 KV 캐시 크기를 줄이는 것이 목적이다.

위치 정보

어텐션은 입력 순서를 바꿔도 결과가 같이 바뀔 뿐인(순열 등변) 연산이라, 그대로 두면 단어 순서를 알 수 없다. 원 논문은 사인·코사인 함수로 만든 고정 벡터를 임베딩에 더했다.

$P{E}_{(pos,2i)}=\sin (pos/10000^{2i/d_{model}}),P{E}_{(pos,2i+1)}=\cos (pos/10000^{2i/d_{model}})$

논문은 학습 가능한 위치 임베딩도 시험해 거의 같은 결과를 얻었다고 보고했다. 이후 BERT와 GPT 초기 모델은 학습형 절대 위치 임베딩을, 2020년대 LLM은 회전 위치 임베딩(RoPE)이나 ALiBi 같은 상대 위치 방식을 쓰는 경우가 많아졌다. 방식별 비교는 위치 인코딩 문서 참고.

위치별 피드포워드 신경망

어텐션 뒤에는 토큰마다 독립적으로 같은 2층 피드포워드 신경망을 적용한다.

$\mathrm{F}\mathrm{F}\mathrm{N}(x)=\max (0,x{W}_1+b_1)W_2+b_2$

d_ff를 d_model의 4배로 잡는 것이 원 논문 설정이다. 어텐션이 토큰 사이에서 정보를 옮기는 역할이라면, FFN은 각 토큰 표현을 비선형으로 가공하는 역할을 맡고 매개변수의 약 3분의 2가 여기에 있다. 활성화 함수는 ReLU에서 GELU를 거쳐, 게이트가 달린 SwiGLU 같은 GLU 변형으로 옮겨 갔다. 섀지어는 GLU 변형을 FFN에 넣으면 ReLU·GELU보다 품질이 좋아진다고 보고했다. FFN을 여러 개의 "전문가"로 나누고 토큰마다 일부만 쓰는 구조가 전문가 혼합(MoE)이다.

잔차 연결과 층 정규화

모든 부분층은 입력을 출력에 더하는 잔차 연결(ResNet에서 온 기법)로 감싸고, 층 정규화(Layer Normalization)로 활성값의 크기를 맞춘다. 잔차 경로 덕분에 층을 깊게 쌓아도 기울기가 잘 흐른다.

정규화의 위치는 이후 바뀌었다. 원 논문처럼 잔차를 더한 뒤 정규화하는 방식을 Post-LN, 부분층에 들어가기 전에 정규화하는 방식을 Pre-LN이라 한다. 시옹(Ruibin Xiong) 등은 Post-LN에서는 초기화 직후 출력층 근처의 기울기가 커서 학습률 워밍업이 꼭 필요하지만, Pre-LN은 기울기가 안정적이어서 워밍업 없이도 학습된다는 것을 보였다. 평균을 빼는 단계를 생략한 RMSNorm도 계산이 단순해 대형 모델에서 채택되었다. 정규화 방식 비교는 레이어 정규화 문서 참고.

마스킹

디코더는 i번째 위치를 예측할 때 i 이후 위치를 보면 안 된다. 그래서 어텐션 점수 행렬의 위쪽 삼각형을 $-\mathrm{\infty }$로 채워 소프트맥스 후 0이 되게 한다. 이것이 인과 마스킹이다. 이 마스크 덕분에 학습 때 정답 문장 전체를 한 번에 넣고 모든 위치의 다음 토큰을 동시에 학습할 수 있다(교사 강요, teacher forcing). 길이가 다른 문장을 한 배치로 묶을 때 넣는 패딩 토큰을 가리는 패딩 마스크도 함께 쓴다.

학습과 추론

원 논문은 Adam 옵티마이저를 쓰되 처음 4,000단계 동안 학습률을 선형으로 올렸다가 단계 수의 역제곱근으로 줄이는 워밍업 스케줄을 썼고, 드롭아웃과 레이블 스무딩(0.1)으로 규제했다.

추론은 자기회귀 방식이다. 디코더가 토큰 하나를 생성하면 그것을 입력 끝에 붙여 다음 토큰을 생성한다. 학습은 시퀀스 전체를 병렬로 처리하지만 생성은 토큰마다 한 번씩 순차로 실행해야 한다는 비대칭이 트랜스포머 서비스 비용의 핵심이다. 매 단계에서 이전 토큰들의 키·값을 다시 계산하지 않도록 저장해 두는 것이 KV 캐시이고, 토큰을 고르는 방법(탐욕, 빔 서치, 샘플링)은 언어 모델 디코딩 문서에서 다룬다.

계산 복잡도

층 유형별 비교

원 논문은 길이 n, 차원 d인 시퀀스를 처리하는 층 유형을 세 기준으로 비교했다.

층 유형	층당 계산량	순차 연산 수	두 위치 사이 최대 경로 길이
셀프 어텐션	$O(n^2\cdot d)$	$O(1)$	$O(1)$
순환(RNN)	$O(n\cdot d^2)$	$O(n)$	$O(n)$
합성곱(커널 크기 k)	$O(k\cdot n\cdot d^2)$	$O(1)$	$O({\log }_{k}n)$
제한된 셀프 어텐션(이웃 r개)	$O(r\cdot n\cdot d)$	$O(1)$	$O(n/r)$

n이 d보다 작으면 셀프 어텐션이 RNN보다 계산량도 적다. 2017년 번역 문장은 대부분 이 조건을 만족했다. 반대로 문서 전체, 코드 저장소, 긴 영상처럼 n이 수만~수백만으로 커지면 $n^2$ 항이 지배하고, 점수 행렬을 메모리에 올리는 비용도 $O(n^2)$로 늘어난다. 트랜스포머 개선 연구의 상당수가 이 제곱 항을 겨냥한다.

매개변수와 연산량 어림

d_ff=4d_model인 표준 층 하나의 매개변수는 어텐션의 투영 행렬 4개($4d^2$)와 FFN 행렬 2개($8d^2$)를 합쳐 약 $12d^2$다. 따라서 층 수 L인 디코더 전용 모델의 매개변수는 임베딩을 빼고 대략 $12L{d}^2$로 어림한다. 학습 연산량은 매개변수 N, 학습 토큰 수 D에 대해 대략 $6ND$ FLOPs(순전파 2N, 역전파 4N)로 어림하는 것이 스케일링 법칙 연구의 관례다. 이 어림은 컨텍스트 길이가 모델 차원보다 훨씬 작다고 보고 어텐션 점수 계산을 무시한 것이라, 컨텍스트가 길어지면 어텐션 몫이 따로 커진다.

메모리 병목

GPU에서는 연산보다 메모리 이동이 병목인 경우가 많다. 표준 어텐션 구현은 n×n 점수 행렬을 GPU 주 메모리(HBM)에 썼다가 다시 읽는데, 이 왕복을 없앤 것이 플래시 어텐션이다. 추론에서는 KV 캐시가 컨텍스트 길이와 배치 크기에 비례해 커져 메모리를 차지하며, MQA·GQA, KV 캐시 양자화와 가지치기가 이 문제를 겨냥한다. 전반적인 기법은 대형 언어 모델 효율화 문서 참고.

변형 계보

구조 유형

원래의 인코더-디코더에서 어느 부분을 남기느냐에 따라 세 갈래로 나뉜다.

유형	어텐션 방향	대표 사전학습 목표	대표 모델(발표 연도)	주 용도
인코더 전용	양방향(모든 토큰이 서로를 봄)	마스크 언어 모델(가린 토큰 맞히기)	BERT(2018), RoBERTa, ELECTRA	분류, 개체명 인식, 검색용 임베딩
디코더 전용	단방향(인과 마스크)	다음 토큰 예측	GPT-1(2018), GPT-2, GPT-3(2020, 1,750억 매개변수), 라마	텍스트 생성, 대화, 오늘날 LLM 대부분
인코더-디코더	인코더 양방향 + 디코더 단방향 + 교차 어텐션	구간 복원, 노이즈 제거	T5(2019), BART(2019), Whisper(2022)	번역, 요약, 음성 인식

BERT는 발표 당시 GLUE 점수를 80.5%로 끌어올리는 등 11개 자연어 처리 과제에서 최고 기록을 냈다. T5는 모든 과제를 "텍스트를 넣으면 텍스트가 나온다"는 형식으로 통일했다. 2020년대 범용 LLM은 디코더 전용으로 수렴했는데, 하나의 목표(다음 토큰 예측)로 어떤 과제든 생성 형식으로 풀 수 있고 규모를 키우기 단순하기 때문이다. 각 유형의 사전학습 방식은 언어 모델, 자기회귀 언어 모델 문서 참고.

긴 시퀀스와 효율화

제곱 복잡도를 줄이거나 우회하려는 변형이 2019~2020년에 쏟아졌다.

접근	대표 기법(연도)	핵심 아이디어	복잡도
희소 어텐션	Sparse Transformer(2019)	어텐션 행렬을 희소 패턴으로 분해	$O(n\sqrt{n})$
지역 창 + 전역 토큰	Longformer(2020)	고정 크기 슬라이딩 창에 일부 전역 어텐션을 더함	$O(n)$
해싱	Reformer(2020)	국소성 민감 해싱으로 비슷한 키끼리만 어텐션, 가역 잔차층	$O(n\log n)$
저랭크 근사	Linformer(2020)	키·값을 길이 방향으로 낮은 차원에 투영	$O(n)$
커널·선형 어텐션	Linear Transformer(2020), Performer(2020)	소프트맥스를 특징 사상의 내적으로 바꿔 행렬 곱 순서를 바꿈. RNN처럼 고정 크기 상태로 추론 가능	$O(n)$
구간 순환	Transformer-XL(2019)	이전 구간의 은닉 상태를 캐시해 다음 구간에서 참조	구간 길이에 대해 제곱
정확한 어텐션의 구현 최적화	플래시 어텐션(2022)	결과는 같게 두고 GPU 메모리 왕복만 줄임	연산 $O(n^2)$, 메모리 $O(n)$

근사 어텐션 계열은 이론상 빠르지만 품질이 떨어지거나 실제 벽시계 시간이 줄지 않는 경우가 많았고, 대형 LLM에서는 정확한 어텐션을 플래시 어텐션으로 빠르게 계산하는 쪽이 자리 잡았다. 한편 선형 어텐션 계열은 입력에 따라 망각률을 조절하는 게이트를 더한 형태로 다시 발전해, 상태 공간 모델(Mamba 등)과 함께 "선형 시간 시퀀스 모델"이라는 별도 흐름을 이루었다.

규모 확장과 희소 활성화

FFN을 여러 전문가로 쪼개고 라우터가 토큰마다 일부 전문가만 고르게 하면, 매개변수는 크게 늘리면서 토큰당 연산량은 거의 그대로 둘 수 있다. 섀지어 등은 2017년 LSTM 사이에 최대 1,370억 매개변수의 희소 게이트 MoE 층을 넣었고, 2021년 Switch Transformer는 토큰마다 전문가 하나만 고르는 단순한 라우팅으로 1조 매개변수 규모 모델을 학습해 같은 계산 자원에서 T5 대비 최대 7배 빠른 사전학습을 보고했다. 자세한 내용은 전문가 혼합 문서 참고.

언어 밖으로의 확장

분야	대표 모델(연도)	입력을 토큰으로 만드는 방법
이미지 인식	비전 트랜스포머 ViT(2020)	이미지를 16×16 픽셀 패치로 잘라 각 패치를 토큰으로
음성 인식	Whisper(2022)	로그 멜 스펙트로그램을 합성곱으로 줄여 인코더 입력으로
이미지 생성	DALL-E(2021)	이미지를 이산 코드로 바꿔 텍스트 토큰과 한 줄로 이어 자기회귀 생성
확산 모델 백본	DiT(2022)	잠재 공간의 패치를 토큰으로, U-Net 대신 트랜스포머로 노이즈 예측
단백질 구조	알파폴드 2(2021)	다중 서열 정렬과 아미노산 쌍 표현에 어텐션을 적용하는 Evoformer 모듈

ViT는 대규모 데이터로 사전학습하면 합성곱 없이도 최신 CNN에 맞먹는 이미지 분류 성능을 낸다는 것을 보였고, DiT는 연산량(Gflops)을 늘릴수록 생성 품질(FID)이 꾸준히 좋아진다는 것을 보였다. 텍스트와 이미지를 함께 다루는 모델은 멀티모달 인공지능, 비전-언어 모델 문서 참고.

2017년 원형과 오늘날 LLM 비교

2020년대 디코더 전용 LLM은 원형에서 세부 부품을 여럿 바꾸었다. 메타의 LLaMA(2023)는 사전 정규화(RMSNorm), SwiGLU 활성화, 회전 위치 임베딩을 채택했다고 밝혔다.

부품	2017년 원형	2020년대 LLM에서 자주 보이는 선택
전체 구조	인코더-디코더	디코더 전용
정규화 위치	Post-LN	Pre-LN
정규화 종류	LayerNorm	RMSNorm
위치 정보	사인·코사인 절대 위치를 임베딩에 더함	RoPE(쿼리·키를 위치에 따라 회전)
FFN 활성화	ReLU	SwiGLU 등 GLU 변형
어텐션 헤드	멀티헤드(키·값 헤드 수 = 쿼리 헤드 수)	GQA(키·값 헤드를 그룹으로 공유)
FFN 구성	밀집 FFN	밀집 FFN 또는 MoE
어텐션 구현	점수 행렬을 메모리에 저장	플래시 어텐션 계열 커널

한계

• 긴 컨텍스트 비용: 어텐션 연산은 길이에 대해 제곱, KV 캐시는 선형으로 커진다. 그래서 컨텍스트 윈도우를 늘릴수록 학습과 서비스 비용이 빠르게 늘어난다.
• 생성의 순차성: 학습은 병렬이지만 자기회귀 생성은 토큰마다 모델 전체를 한 번씩 실행해야 한다. 추측 디코딩, 텍스트 확산 모델(확산 모델 문서의 dLLM 절) 같은 시도가 여기서 나왔다.
• 데이터와 연산 요구량: 합성곱의 지역성 같은 귀납 편향이 약한 대신 대규모 사전학습이 사실상 필요하다. ViT 논문도 중간 규모 데이터만으로는 CNN에 못 미치고 대규모 사전학습 뒤에야 앞선다고 보고했다.
• 해석의 어려움: 어텐션 가중치를 시각화할 수는 있지만 모델이 왜 그런 출력을 냈는지 설명하기에는 부족하다. 내부 회로를 역공학하는 기계적 해석 가능성 연구가 진행 중이다.
• 길이 일반화: 학습 때보다 긴 입력에서 성능이 떨어지는 문제가 있어 위치 인코딩 설계(ALiBi, RoPE 보간 등)가 따로 연구된다.

대안 구조

제곱 비용 없이 고정 크기 상태만으로 추론하는 상태 공간 모델(S4, Mamba), RWKV 같은 선형 순환 모델이 대안으로 제시되었다. 다만 앞선 토큰을 정확히 찾아오는 작업(복사, 연상 회상)에서는 어텐션이 유리하다는 분석이 많아, 2024년 이후에는 어텐션 층 일부와 SSM 층 다수를 섞은 하이브리드 모델이 산업계에서 나오고 있다. 자세한 내용은 상태 공간 모델 문서 참고.

역사

연도	사건
2014	조경현 등 RNN 인코더-디코더 제안, 바다나우 등 번역에 어텐션 도입
2016	층 정규화 제안
2017.6	〈Attention Is All You Need〉 arXiv 공개, 같은 해 NeurIPS 발표
2018	GPT(6월), BERT(10월) 발표로 "사전학습 후 미세조정" 패러다임 확립
2019	GPT-2, Transformer-XL, Sparse Transformer, T5, BART, MQA
2020	GPT-3(1,750억 매개변수), ViT, Longformer·Reformer·Linformer·Performer 등 효율적 어텐션 연구, Pre-LN 분석
2021	Switch Transformer, RoPE, 알파폴드 2 논문
2022	플래시 어텐션, DiT, Whisper. 11월 ChatGPT 공개로 디코더 전용 LLM이 대중화
2023	LLaMA 공개, GQA, 플래시 어텐션 2. Mamba 등 SSM 대안 부상
2024	트랜스포머-Mamba 하이브리드(Jamba 등), 플래시 어텐션 3

같이 보기

• Attention is All You Need (논문)
• 어텐션 메커니즘
• 셀프 어텐션
• 위치 인코딩
• 인과 마스킹
• 레이어 정규화
• 트랜스포머 블록
• KV 캐시
• 플래시 어텐션
• 전문가 혼합
• 비전 트랜스포머
• BERT
• GPT-3
• 대형 언어 모델
• 상태 공간 모델
• RNN
• LSTM
• GRU

참고 문헌

• Vaswani 외, Attention Is All You Need (arXiv)
• The Annotated Transformer (하버드 NLP, 논문을 코드로 따라가는 해설)