컨텍스트 윈도우
더 많은 작업
- Context window; 컨텍스트 윈도우, 문맥 창
- 언어 모델이 한 번에 입력으로 받아 참조할 수 있는 토큰 수의 상한
컨텍스트 윈도우(context window)는 언어 모델이 다음 토큰을 예측할 때 한 번에 볼 수 있는 토큰의 최대 개수다. 문맥 길이(context length)라고도 한다. 대화형 서비스에서는 시스템 프롬프트, 지금까지의 대화, 첨부 문서, 도구 호출 결과, 그리고 모델이 생성하는 출력까지 모두 이 창 안에 들어가야 한다. 창을 넘는 부분은 잘라 내거나 요약해야 하며, 모델은 창 밖의 내용을 전혀 알지 못한다.
앤트로픽은 컨텍스트 윈도우를 학습 데이터 전체와 구별되는 모델의 "작업 기억"에 비유하면서, 토큰 수가 늘수록 정확도와 회상률이 떨어지는 현상(context rot)이 있어 무엇을 넣을지 고르는 일이 창의 크기만큼 중요하다고 설명한다.[1]
아래는 개발사 발표나 논문으로 확인한 값이다.
| 모델 | 발표 | 컨텍스트 윈도우 |
|---|---|---|
| BERT | 2018 | 512토큰[2] |
| GPT-3 | 2020 | 2,048토큰[3] |
| GPT-4 | 2023-03 | 8,192토큰, 별도 판 32,768토큰[4] |
| 클로드 | 2023-05 | 9천 → 10만 토큰으로 확장[5] |
| GPT-4 터보 | 2023-11 | 128,000토큰[6] |
| Mixtral 8x7B | 2023-12 | 32,000토큰[7] |
| 제미나이 1.5 프로 | 2024-02 | 기본 128,000토큰, 미리보기 100만 토큰(연구에서는 1,000만 토큰까지 시험)[8] |
| 라마 3.1 | 2024-07 | 128,000토큰[9] |
| 라마 4 스카우트 | 2025-04 | 1,000만 토큰[10] |
| 제미나이 3 | 2025-11 | 100만 토큰[11] |
| 클로드 오푸스 5.5 등 2026년 클로드 주력 모델 | 2026 | 100만 토큰(출력 최대 128,000토큰)[1] |
| 키미 K3 | 2026-07 | 100만 토큰[12] |
창의 크기는 이론상 최대치다. 실제로 그 길이 전체를 고르게 활용하는지는 별개 문제다.
| 기법 | 원리 | 예 |
|---|---|---|
| RoPE와 위치 보간 | 회전 위치 임베딩(RoPE)은 위치를 회전 각도로 표현한다.[13] 위치 보간(Position Interpolation)은 긴 입력의 위치 번호를 학습 범위 안으로 줄여 넣어, 1,000단계 이내의 짧은 미세조정만으로 라마의 문맥을 32,768토큰까지 늘렸다[14] | NTK 인식 보간, YaRN[15] |
| 슬라이딩 윈도우 어텐션 | 각 토큰이 바로 앞 일정 개수의 토큰에만 어텐션한다. 층을 쌓으면 정보가 창을 넘어 전달된다 | Longformer(전역 어텐션과 결합),[16] Mistral 7B[17] |
| 효율적 어텐션 구현 | 결과는 같게 두고 GPU 메모리 접근을 줄여 긴 문맥 계산을 빠르게 한다 | 플래시 어텐션 |
| KV 캐시 절감 | 키·값 헤드 공유(MQA, GQA), 압축, 오래된 토큰 제거로 메모리를 줄인다 | KV 캐시, KV 캐시 가지치기 |
| 순환·상태 공간 구조 혼합 | 일부 층을 고정 크기 상태를 갖는 구조로 바꿔 길이에 따른 비용 증가를 줄인다 | 상태 공간 모델 |
| 컨텍스트 관리 | 오래된 대화를 요약(압축)하거나 도구 결과를 지워 창을 비운다 | 에이전트 실행 환경의 컴팩션 기능[1] |
2023년 스탠퍼드 등의 연구진은 여러 문서 질의응답과 키-값 검색 과제에서, 필요한 정보가 입력의 처음이나 끝에 있을 때 성능이 가장 높고 가운데에 있을 때 크게 떨어진다고 보고했다. 긴 문맥을 명시적으로 지원하는 모델에서도 같은 경향이 나타났다. 이 현상을 논문 제목을 따 "lost in the middle"이라 부른다.[18]
긴 문맥 평가에 쓰이던 "건초 더미 속 바늘"(needle in a haystack) 시험은 긴 글 속에 문장 하나를 숨기고 찾게 한다. 구글은 제미나이 1.5 프로가 100만 토큰 길이에서 99%의 비율로 숨긴 문장을 찾았다고 밝혔다.[8] 그러나 이런 단순 검색은 피상적인 이해만 잰다는 비판이 있어, 여러 개의 바늘, 여러 단계 추적, 집계 과제를 더한 RULER 같은 벤치마크가 나왔다. RULER 연구는 많은 모델의 실효 문맥 길이가 표기된 길이보다 짧다고 보고했다.[19]
검색 증강 생성(RAG)은 질문과 관련된 문서 조각만 검색해 컨텍스트에 넣는 방식이고, 긴 컨텍스트 방식은 문서 전체를 통째로 넣는 방식이다. 두 방식은 서로 대체하기보다 함께 쓰인다.
| 구분 | 긴 컨텍스트에 전부 넣기 | RAG |
|---|---|---|
| 적합한 경우 | 문서 몇 개를 전체적으로 이해해야 할 때(계약서 대조, 코드베이스 분석) | 자료가 창보다 훨씬 클 때(사내 문서 전체, 웹) |
| 비용 | 요청마다 전체 토큰 비용. 프롬프트 캐싱으로 일부 절감 | 검색된 조각만큼만 비용 |
| 약점 | 중간 정보 누락, 지연 증가 | 검색이 놓친 정보는 답에 반영되지 않음 |
| 최신성 | 넣은 문서 기준 | 색인을 갱신하면 최신 정보 반영 |
- ↑ 1.0 1.1 1.2 Anthropic, Context windows, Claude Platform Docs, 2026-10-15 확인.
- ↑ J. Devlin 외, 〈BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding〉, 2018. arXiv:1810.04805
- ↑ T. Brown 외, 〈Language Models are Few-Shot Learners〉, 2020. arXiv:2005.14165
- ↑ OpenAI, GPT-4, 2023-03-14.
- ↑ Anthropic, Introducing 100K context windows, 2023-05-11.
- ↑ OpenAI, New models and developer products announced at DevDay, 2023-11-06.
- ↑ A. Q. Jiang 외, 〈Mixtral of Experts〉, 2024. arXiv:2401.04088
- ↑ 8.0 8.1 Google, Our next-generation model: Gemini 1.5, 2024-02-15.
- ↑ A. Grattafiori 외, 〈The Llama 3 Herd of Models〉, 2024. arXiv:2407.21783
- ↑ Meta, Llama-4-Scout-17B-16E 모델 카드, 2026-10-15 확인.
- ↑ Google, A new era of intelligence with Gemini 3, 2025-11-18.
- ↑ Moonshot AI, Kimi-K3 모델 카드, 2026-10-15 확인.
- ↑ J. Su 외, 〈RoFormer: Enhanced Transformer with Rotary Position Embedding〉, 2021. arXiv:2104.09864
- ↑ S. Chen 외, 〈Extending Context Window of Large Language Models via Positional Interpolation〉, 2023. arXiv:2306.15595
- ↑ B. Peng 외, 〈YaRN: Efficient Context Window Extension of Large Language Models〉, 2023. arXiv:2309.00071
- ↑ I. Beltagy, M. E. Peters, A. Cohan, 〈Longformer: The Long-Document Transformer〉, 2020. arXiv:2004.05150
- ↑ Mistral AI, Mistral 7B, 2023-09-27.
- ↑ N. F. Liu 외, 〈Lost in the Middle: How Language Models Use Long Contexts〉, TACL, 2024. arXiv:2307.03172
- ↑ C.-P. Hsieh 외, 〈RULER: What's the Real Context Size of Your Long-Context Language Models?〉, 2024. arXiv:2404.06654