대형 언어 모델
더 많은 작업
- Large language model, LLM; 대형 언어 모델
- 방대한 텍스트로 사전 학습한, 매개변수 수십억 개 이상의 트랜스포머 기반 언어 모델
대형 언어 모델(大形言語模型, Large Language Model, LLM)은 트랜스포머 기반 언어 모델을 모델 크기(매개변수), 학습 데이터, 학습 연산량 세 방향으로 크게 키운 모델이다. 매개변수는 수십억 개에서 수조 개에 이르고, 수조~수십조 개의 토큰으로 사전 학습한다. 작업별로 따로 학습하지 않아도 번역, 요약, 질의응답, 글쓰기, 코딩, 수학 풀이를 하나의 모델로 처리하며, 이 범용성 때문에 여러 응용의 기반이 되는 파운데이션 모델의 대표 사례로 꼽힌다.
2020년 GPT-3가 예시 몇 개만으로 새 작업을 수행하는 인컨텍스트 러닝 능력을 보이고, 2022년 11월 ChatGPT가 대중에 공개되면서 LLM은 연구 대상에서 일상 도구가 되었다. 이후 OpenAI, 앤트로픽, 구글 딥마인드, 메타, 딥시크 등이 경쟁적으로 모델을 내놓았고, 2024년 이후에는 답하기 전에 길게 생각하는 추론 모델과 도구를 써서 여러 단계 작업을 수행하는 에이전트가 발전의 중심이 되었다.
이 문서는 LLM 특유의 내용(학습 파이프라인, 서빙, 능력, 주요 모델, 시장, 문제점)을 다룬다. 언어 모델 일반의 정의, 통계적 모델부터의 역사, 평가 지표, 분류 축은 언어 모델 문서에서 다룬다.
"대형"의 기준은 정해져 있지 않다. 2018년의 BERT(매개변수 3.4억 개)도 당시에는 큰 모델이었지만, 2020년대 중반에는 수천억~조 단위 모델이 나오면서 70억 개 안팎의 모델은 소형 언어 모델(SLM)로 불리기도 한다. 보통 다음 특징을 갖춘 모델을 LLM이라 부른다.
- 트랜스포머 구조. 2026년 현재 대부분은 디코더 전용 자기회귀 모델이다.
- 대규모 비지도 텍스트로 다음 토큰 예측을 학습하는 자기 지도 사전 학습.
- 미세조정 없이 프롬프트만으로 여러 작업을 수행하는 범용성.
- 사전 학습 뒤 지시 따르기와 안전성을 위한 사후 학습(post-training).
LLM이 텍스트 외에 이미지, 음성, 영상까지 입력받으면 멀티모달 모델 또는 비전-언어 모델이라 부른다. 2024년 이후 주요 상용 모델은 대부분 이미지 입력을 지원한다.
2020년 1월 OpenAI 연구진은 언어 모델의 손실이 모델 크기, 데이터 양, 연산량의 거듭제곱 법칙을 따른다는 스케일링 법칙을 발표했고, 같은 해 5월 매개변수 1750억 개의 GPT-3를 발표했다.[3] GPT-3는 미세조정 없이 프롬프트의 예시만으로 번역, 산수, 문장 이어 쓰기를 수행했고, OpenAI는 이를 유료 API로 제공했다. 이어 딥마인드의 Gopher(2,800억 개, 2021년 12월)[4], 구글의 PaLM(5,400억 개, 2022년 4월)[5] 같은 초대형 모델이 나왔다.
2022년 3월 딥마인드의 친칠라(Chinchilla) 연구는 기존 LLM들이 크기에 비해 데이터를 너무 적게 학습했다고 지적하고, 같은 연산량이면 모델 크기와 학습 토큰 수를 같은 비율로 늘려야 한다는 결과를 냈다.[6] 같은 달 OpenAI는 사람의 시범과 선호 평가로 GPT-3를 다듬은 InstructGPT를 발표했다.[7] 2022년 11월 30일 InstructGPT와 같은 방법으로 대화에 맞춘 ChatGPT가 무료 연구 미리보기로 공개되었다.[8]
2023년 2월 메타는 연구용 비상업 라이선스로 LLaMA(70억~650억 개)를 공개했고,[9] 이를 미세조정한 파생 모델이 연구 공동체에서 쏟아졌다. 2023년 3월 14일 OpenAI는 이미지 입력을 받는 GPT-4를 발표했다.[10] 7월에는 앤트로픽의 클로드 2와 상업 이용이 가능한 라마 2가, 12월에는 구글의 제미나이가 발표되었다.[11][12][13] 미스트랄 AI는 2023년 9월 아파치 2.0 라이선스의 Mistral 7B를 공개했다.[14]
2024년에는 컨텍스트 윈도우가 수십만~100만 토큰으로 늘었고(2월 제미나이 1.5), 3월 클로드 3, 5월 GPT-4o, 7월 라마 3.1(4,050억 개) 등이 이어졌다.[15] 9월 12일 OpenAI는 강화 학습으로 긴 사고 과정을 거친 뒤 답하는 o1을 발표해 추론 모델 시대를 열었다.[16] 12월 딥시크는 MoE 구조의 딥시크-V3(전체 6,710억 개, 활성 370억 개)를 공개했다.[17]
2025년 1월 딥시크가 o1에 견줄 만한 추론 모델 딥시크-R1을 MIT 라이선스로 공개하고 학습 방법을 논문으로 밝히면서, 추론 모델이 오픈 웨이트 진영으로 퍼졌다.[18][19] 2월 앤트로픽의 클로드 3.7 소넷은 빠른 답과 확장 사고를 한 모델에서 고르는 하이브리드 추론 모델로 나왔고, 함께 코딩 에이전트 클로드 코드를 미리보기로 공개했다.[20] 4월에는 메타의 라마 4(MoE, 오픈 웨이트)와 알리바바의 큐원3(생각 모드 전환 지원)이, 5월에는 클로드 오푸스 4·소넷 4가, 8월에는 GPT-5가, 11월에는 제미나이 3가 나왔다.[21][22][23][24][25]
2026년 4월 앤트로픽은 사이버보안 능력이 뛰어나 일반 공개하지 않는 연구 미리보기 모델 클로드 미토스 프리뷰를 발표하고, 이를 핵심 소프트웨어 방어에 쓰는 프로젝트 글래스윙을 시작했다.[26] 같은 달 OpenAI는 GPT-5.5를 발표했다.[27] 6월 9일 앤트로픽은 미토스급 모델에 안전장치를 더한 클로드 페이블 5와 제한 접근 모델 클로드 미토스 5를 출시했으나, 6월 12일 미국 정부의 수출 통제 지시로 두 모델의 접근을 중단했다. 앤트로픽은 정부가 페이블 5의 안전장치를 우회하는 방법을 파악했다고 보는 것으로 이해한다고 밝혔다. 두 모델은 7월 1일 다시 제공되었다.[28][29] 7월에는 문샷 AI가 매개변수 2.8조 개의 오픈 웨이트 모델 키미 K3를 공개했다.[30] 9월에는 OpenAI의 GPT-6 계열(9월 3일 GPT-6 아스트라, 9월 22일 솔과 루나)과 앤트로픽의 클로드 오푸스 5.5(9월 22일)가 나왔다.[31][32]
2026년 현재 주요 LLM은 대부분 디코더 전용 트랜스포머다. 토큰을 임베딩으로 바꾸고, 셀프 어텐션과 피드포워드 층으로 이루어진 트랜스포머 블록을 수십~백여 층 쌓은 뒤, 어휘 전체에 대한 확률을 출력한다. 원조 트랜스포머 이후 LLM에서 자리 잡은 주요 변경점은 다음과 같다.
| 요소 | 원조 트랜스포머(2017) | 2020년대 LLM에서 흔한 선택 | 자세히 |
|---|---|---|---|
| 전체 구조 | 인코더-디코더 | 디코더 전용 | 자기회귀 언어 모델 |
| 위치 정보 | 사인 함수 위치 인코딩 | 회전 위치 임베딩(RoPE) | 위치 인코딩, 컨텍스트 윈도우 |
| 정규화 | 사후 레이어 정규화 | 사전 정규화, RMSNorm | 레이어 정규화 |
| 어텐션 헤드 | 다중 헤드 어텐션 | 키·값 헤드를 공유하는 MQA, GQA. 딥시크는 잠재 공간으로 압축하는 MLA | 어텐션 메커니즘, KV 캐시 |
| 피드포워드 | 밀집 층 | 밀집 층 또는 전문가 혼합(MoE) | 전문가 혼합 |
| 어텐션 계산 | 표준 구현 | 메모리 접근을 줄인 플래시 어텐션 | 플래시 어텐션 |
어텐션은 문맥 길이의 제곱에 비례해 비용이 늘어나므로, 일부 층을 상태 공간 모델(맘바 등)이나 선형 어텐션으로 바꾸는 혼합 구조도 연구·출시되고 있다.
LLM 학습은 보통 사전 학습, 지도 미세조정, 정렬(선호 학습·강화 학습)의 세 단계로 나뉜다. 뒤의 두 단계를 묶어 사후 학습이라 부른다.
| 단계 | 데이터 | 목표 | 비용 | 결과물 |
|---|---|---|---|---|
| 사전 학습 | 웹 문서, 책, 코드, 논문 등 수조~수십조 토큰 | 다음 토큰 예측 | 전체 비용의 대부분. 수천~수만 개 GPU로 수주~수개월 | 기반 모델(base model) |
| 지도 미세조정(SFT) | 사람이나 모델이 쓴 지시-응답 쌍 수만~수백만 개 | 지시를 따르고 대화 형식으로 답하기 | 상대적으로 작음 | 지시 따르기 모델 |
| 선호 학습(RLHF, DPO 등) | 같은 질문에 대한 여러 답의 선호 순위 | 더 유용하고 해롭지 않은 답 | 중간 | 대화형 비서 모델 |
| 검증 가능한 보상 강화 학습(RLVR) | 정답을 자동 채점할 수 있는 수학·코딩 문제 | 긴 사고 과정으로 정답에 이르기 | 2024년 이후 크게 늘어남 | 추론 모델 |
사전 학습은 레이블 없는 텍스트에서 다음 토큰을 맞히는 자기 지도 학습이다. 이 단계에서 모델은 문법, 어휘 의미, 세계 지식, 코드 패턴을 익힌다. 결과물인 기반 모델은 문장을 이어 쓸 뿐 질문에 답하는 형식을 따르지 않으므로, 그대로는 챗봇처럼 쓰기 어렵다.
학습 데이터는 웹 크롤링(커먼 크롤 등), 위키백과, 책, 뉴스, 학술 논문, 코드 저장소, 수학 자료에서 모은다. 양만큼 품질이 중요해서, 중복 제거, 언어 판별, 저품질·유해 문서 거르기, 개인정보 제거 같은 정제를 거친다. 학습 데이터 규모는 해마다 크게 늘었다.
| 모델 | 발표 | 매개변수 | 사전 학습 토큰 수 |
|---|---|---|---|
| GPT-3 | 2020 | 1,750억 | 약 3,000억[3] |
| 친칠라 | 2022 | 700억 | 약 1.4조[6] |
| LLaMA 65B | 2023 | 650억 | 1.4조[9] |
| 라마 2 | 2023 | 70억~700억 | 2조[12] |
| 라마 3.1 405B | 2024 | 4,050억 | 약 15조[15] |
| 딥시크-V3 | 2024 | 6,710억(활성 370억) | 14.8조[17] |
| 큐원3 | 2025 | 6억~2,350억 | 약 36조(119개 언어·방언)[22] |
| 라마 4 스카우트 | 2025 | 1,090억(활성 170억) | 약 40조[33] |
친칠라 연구가 제시한 "연산 최적" 비율(매개변수 1개당 약 20토큰)보다 훨씬 많은 데이터로 작은 모델을 오래 학습하는 경향이 2023년 이후 뚜렷하다. 학습 비용이 조금 더 들어도 추론(서빙) 비용이 싼 작은 모델을 얻는 편이 이득이기 때문이다. 공개 텍스트가 바닥날 수 있다는 데이터 고갈 논의는 스케일링 법칙 (인공지능) 문서에서 다룬다.
기반 모델에 "지시와 모범 답안" 쌍을 학습시켜 질문에 답하고 지시를 따르게 만드는 단계다. 데이터는 사람이 직접 쓰거나, 더 강한 모델이 생성한 합성 데이터를 쓴다. 대화 형식(시스템·사용자·어시스턴트 역할)과 도구 호출 형식도 이 단계에서 익힌다. 자세한 내용은 지도 미세조정, 미세조정 문서 참고. 전체 매개변수 대신 일부만 학습해 비용을 줄이는 방법은 파라미터 효율적 미세조정, LoRA (인공지능) 문서 참고.
모델 출력이 사용자의 의도에 맞고 유용하며 해롭지 않도록 다듬는 과정이 정렬이다. InstructGPT 논문이 정리한 인간 피드백 기반 강화 학습(RLHF)은 세 단계로 이루어진다.[7]
- 사람이 쓴 모범 답안으로 지도 미세조정을 한다.
- 같은 질문에 대한 모델의 여러 답을 사람이 순위 매기고, 이 순위를 예측하는 보상 모델을 학습한다.
- 보상 모델 점수가 높아지도록 강화 학습(PPO)으로 모델을 고친다.
이 논문에서 매개변수 13억 개의 InstructGPT가 1,750억 개 GPT-3보다 사람 평가에서 더 선호되었다. RLHF는 구현이 복잡하고 불안정하다는 단점이 있어, 2023년에는 보상 모델과 강화 학습 없이 선호 데이터로 바로 모델을 학습하는 DPO(직접 선호 최적화)가 제안되었다.[34] 앤트로픽은 사람이 해로움을 일일이 표시하는 대신 원칙 목록(헌법)과 AI 피드백으로 무해성을 학습시키는 헌법 AI(Constitutional AI)를 제안했다.[35]
2024년 이후에는 수학 정답이나 코드 테스트 통과처럼 자동으로 채점할 수 있는 보상으로 강화 학습을 하는 RLVR(검증 가능한 보상 강화 학습)이 추론 능력 향상의 핵심이 되었다. 이 과정과 한계는 추론 모델 (인공지능) 문서에서 다룬다. 보상 모델의 허점을 파고드는 보상 해킹은 정렬 단계의 대표적 문제다.
학습된 모델로 답을 생성하는 과정을 추론(inference)이라 한다. 여기서 추론은 "논리적 추론(reasoning)"이 아니라 모델 실행을 뜻한다. LLM 서빙은 토큰을 하나씩 순차 생성하므로 메모리 대역폭에 묶이기 쉽고, 비용 대부분이 이 단계에서 나온다.
| 기법 | 하는 일 | 자세히 |
|---|---|---|
| KV 캐시 | 이미 처리한 토큰의 키·값을 저장해 다음 토큰 계산 때 재사용한다. 긴 문맥에서는 KV 캐시가 메모리의 상당 부분을 차지한다 | KV 캐시, KV 캐시 가지치기 |
| 페이지드 어텐션 | KV 캐시를 운영체제의 페이지처럼 블록 단위로 관리해 메모리 낭비를 거의 없앤다. vLLM이 이 방식으로 처리량을 크게 높였다[36] | 배치 (인공지능) |
| 연속 배치 | 끝난 요청을 빼고 새 요청을 바로 끼워 넣어 GPU를 쉬지 않게 한다 | |
| 양자화 | 가중치(와 활성값)를 8비트, 4비트로 줄여 메모리와 대역폭을 아낀다. GPTQ, LLM.int8() 등이 대표적이다[37] | 신경망 양자화, SmoothQuant, GGUF 포맷 |
| 추측 디코딩 | 작은 초안 모델이 여러 토큰을 미리 쓰고 큰 모델이 한 번에 검증해, 출력 분포를 바꾸지 않고 생성 속도를 높인다 | 추측 디코딩, Medusa (인공지능) |
| 프롬프트 캐싱 | 여러 요청이 공유하는 긴 접두 부분(시스템 프롬프트, 문서)의 계산 결과를 재사용한다. 상용 API는 캐시 적중 토큰을 할인한다 | |
| 지식 증류·가지치기 | 큰 모델의 능력을 작은 모델로 옮기거나 불필요한 가중치를 없앤다 | 지식 증류, 신경망 가지치기 |
개인 PC에서 LLM을 돌리는 도구로는 Llama.cpp, Ollama 등이 있다. 서빙 효율 기법 전반은 대형 언어 모델 효율화 문서 참고. 다음 토큰을 고르는 규칙(온도, top-p 등)은 언어 모델 디코딩 문서에서 다룬다.
GPT-3 논문은 모델 가중치를 바꾸지 않고 프롬프트에 예시 몇 개(퓨샷)를 넣는 것만으로 새 작업을 수행하는 능력을 보였다.[3] 이를 인컨텍스트 러닝이라 하며, 예시가 하나면 원샷, 없으면 제로샷이라 한다. 프롬프트를 설계해 원하는 출력을 끌어내는 기술은 프롬프트 엔지니어링 문서 참고.
2022년 구글 연구진은 예시에 중간 풀이 과정을 함께 보여 주면 큰 모델의 산수·상식·기호 추론 성능이 크게 오른다는 연쇄적 사고(chain-of-thought, CoT) 프롬프팅을 발표했다.[38] 같은 해 "단계별로 생각해 보자(Let's think step by step)"라는 한 문장만 덧붙여도 제로샷 추론 성능이 오른다는 결과도 나왔다.[39] 이 사고 과정을 프롬프트가 아니라 강화 학습으로 모델에 내재화한 것이 추론 모델이다. 자세한 내용은 연쇄적 사고 프롬프팅, 추론 모델 (인공지능) 문서 참고.
LLM은 계산, 최신 정보 검색 같은 일에 약하다. 2023년 Toolformer 연구는 모델이 언제 어떤 API를 호출할지 스스로 학습할 수 있음을 보였고,[40] 이후 상용 API들은 함수 호출(function calling) 기능을 제공했다. 도구 호출을 반복하며 계획·실행·검증하는 시스템이 AI 에이전트이고, 도구를 표준 방식으로 연결하는 모델 컨텍스트 프로토콜(MCP), 화면을 직접 조작하는 컴퓨터 사용 에이전트가 이 흐름에 속한다. 외부 문서를 검색해 답에 반영하는 방법은 RAG (인공지능) 문서 참고.
아래 표는 발표 시점에 업계 흐름을 바꾸었거나 계열을 대표하는 모델을 고른 것이다. 2025~2026년 모델은 개발사 공식 발표로 확인한 것만 실었다. "공개"는 가중치를 내려받을 수 있는지를 뜻한다.
| 모델 | 개발사 | 발표 | 매개변수 | 공개 | 비고 |
|---|---|---|---|---|---|
| GPT-2 | OpenAI | 2019-02 | 15억 | 공개(단계적) | 악용 우려로 단계적 공개[1] |
| GPT-3 | OpenAI | 2020-05 | 1,750억 | 비공개(API) | 인컨텍스트 러닝[3] |
| PaLM | 구글 | 2022-04 | 5,400억 | 비공개 | TPU v4 6,144개로 학습 |
| ChatGPT(GPT-3.5) | OpenAI | 2022-11 | 비공개 | 비공개 | RLHF 대화 모델[8] |
| LLaMA | 메타 | 2023-02 | 70억~650억 | 연구용 공개 | 비상업 연구 라이선스[9] |
| GPT-4 | OpenAI | 2023-03 | 비공개 | 비공개 | 이미지 입력, 문맥 8K·32K[10] |
| 클로드 2 | 앤트로픽 | 2023-07 | 비공개 | 비공개 | 입력 10만 토큰[11] |
| 라마 2 | 메타 | 2023-07 | 70억~700억 | 공개 | 상업 이용 가능 라이선스[12] |
| Mistral 7B | 미스트랄 AI | 2023-09 | 73억 | 공개 | 아파치 2.0, 슬라이딩 윈도우 어텐션[14] |
| 제미나이 1.0 | 구글 | 2023-12 | 비공개 | 비공개 | 처음부터 멀티모달로 학습[25] |
| Mixtral 8x7B | 미스트랄 AI | 2023-12 | 470억(활성 130억) | 공개 | 희소 MoE[43] |
| 제미나이 1.5 프로 | 구글 | 2024-02 | 비공개 | 비공개 | 최대 100만 토큰 문맥[44] |
| 클로드 3 | 앤트로픽 | 2024-03 | 비공개 | 비공개 | 하이쿠·소넷·오푸스 3단계 구성[45] |
| GPT-4o | OpenAI | 2024-05 | 비공개 | 비공개 | 텍스트·음성·이미지 통합 처리[46] |
| 라마 3.1 405B | 메타 | 2024-07 | 4,050억 | 공개 | 밀집 모델, 128K 문맥[15] |
| o1-preview | OpenAI | 2024-09 | 비공개 | 비공개 | 첫 상용 추론 모델[16] |
| 딥시크-V3 | 딥시크 | 2024-12 | 6,710억(활성 370억) | 공개 | 14.8조 토큰, MLA·MoE[17] |
| 딥시크-R1 | 딥시크 | 2025-01 | 6,710억(활성 370억) | 공개(MIT) | 오픈 웨이트 추론 모델[19] |
| 클로드 3.7 소넷 | 앤트로픽 | 2025-02 | 비공개 | 비공개 | 하이브리드 추론[20] |
| 라마 4 스카우트·매버릭 | 메타 | 2025-04 | 1,090억·4,000억(활성 170억) | 공개 | MoE, 스카우트 1,000만 토큰 문맥[21] |
| 큐원3 | 알리바바 | 2025-04 | 6억~2,350억 | 공개 | 생각·비생각 모드 전환[22] |
| 클로드 오푸스 4·소넷 4 | 앤트로픽 | 2025-05 | 비공개 | 비공개 | 장시간 에이전트 작업[23] |
| GPT-5 | OpenAI | 2025-08 | 비공개 | 비공개 | 빠른 모델과 생각 모델을 묶은 통합 시스템[24] |
| 제미나이 3 | 구글 | 2025-11 | 비공개 | 비공개 | 100만 토큰 문맥[25] |
| 클로드 미토스 프리뷰 | 앤트로픽 | 2026-04 | 비공개 | 비공개(제한 접근) | 보안 작업 특화 연구 미리보기 |
| GPT-5.5 | OpenAI | 2026-04 | 비공개 | 비공개 | 에이전트 코딩, 컴퓨터 조작[27] |
| 클로드 페이블 5 | 앤트로픽 | 2026-06 | 비공개 | 비공개 | 미토스급, 고위험 주제 안전장치[28] |
| 키미 K3 | 문샷 AI | 2026-07 | 2.8조 | 공개 | 100만 토큰 문맥, 멀티모달[30] |
| GPT-6 아스트라 | OpenAI | 2026-09 | 비공개 | 비공개 | 이후 솔·루나 추가[31] |
| 클로드 오푸스 5.5 | 앤트로픽 | 2026-09 | 비공개 | 비공개 | 클로드 5.5 계열 첫 모델[32] |
계열별 세부는 ChatGPT, OpenAI, 앤트로픽 클로드, 클로드 (인공지능), 클로드 오푸스, 클로드 소넷, 구글 제미나이, 구글 젬마, 메타 라마, 딥시크 문서 참고.
| 모델 | 개발사 | 발표 | 특징 |
|---|---|---|---|
| 하이퍼클로바 | 네이버 | 2021-05 | 국내 기업 최초 초대규모 AI로 발표.[47] 2023년 8월 후속 하이퍼클로바X 공개, 2025년 이후 SEED 계열 오픈 웨이트 공개 |
| 엑사원 | LG AI연구원 | 2021~ | 2024년 8월 엑사원 3.0 7.8B가 계열 첫 공개 모델이다.[48] 2026년 7월 31일 매개변수 7,500억 개의 K-EXAONE 2.0을 아파치 2.0으로 공개[49] |
| 솔라 | 업스테이지 | 2023-12~ | 2023년 12월 깊이 확장 기법으로 만든 SOLAR 10.7B 발표.[50] 2026년 7월 23일 에이전트 특화 오픈 웨이트 모델 솔라 오픈 2 공개[51] |
| A.X K2 | SK텔레콤 | 2026-07 | 독자 AI 파운데이션 모델 프로젝트 2단계 모델 |
| 카나나 | 카카오 | 2025~ | 카카오 카나나 계열, 일부 오픈 웨이트 |
정부의 독자 AI 파운데이션 모델 프로젝트는 국내 기업이 처음부터 학습한 파운데이션 모델을 단계 평가로 선발하는 사업이다. 관련 정책 맥락은 소버린 AI 문서 참고.
LLM 사업은 크게 세 갈래로 수익을 낸다.
- 자사 서비스: 챗봇 구독(ChatGPT, 클로드, 제미나이 앱 등)과 기업용 요금제. OpenAI는 2026년 10월 ChatGPT를 매주 쓰는 사람이 12억 명을 넘는다고 밝혔다.[52]
- API: 입력·출력 토큰 수에 따라 과금한다. 토큰 단가와 캐시 할인, 모델 등급(대형·중형·소형)으로 가격을 나눈다. 토큰과 비용의 관계는 토큰화 (자연어 처리) 문서 참고.
- 클라우드 유통: 마이크로소프트 애저, 아마존 베드록, 구글 버텍스 AI 같은 클라우드에서 여러 회사의 모델을 함께 판매한다.
시장 구도는 크게 폐쇄형 프런티어 모델(OpenAI, 앤트로픽, 구글 등)과 오픈 웨이트 모델(메타, 딥시크, 알리바바, 문샷 AI, 미스트랄, 국내 기업 등)로 갈린다. 2025년 이후 성능 상위권 오픈 웨이트 모델은 중국 기업 제품이 많아졌다. 영어 중심이던 경쟁은 2023년 이후 다국어로 넓어졌고, 각국은 자국어와 데이터 주권을 이유로 자체 모델 개발을 지원한다(소버린 AI). LLM 학습과 서빙에는 GPU, AI 가속기, HBM, AI 데이터센터가 대량으로 필요해 반도체·전력 산업에도 영향을 준다.
| 문제 | 내용 | 자세히 |
|---|---|---|
| 환각 | 사실이 아닌 내용을 그럴듯하게 만들어 낸다. 출처 인용 조작, 존재하지 않는 논문·판례 생성이 대표적이다 | 할루시네이션 (인공지능) |
| 편향 | 학습 데이터의 사회적 편향(성별, 인종, 지역 등)이 출력에 반영된다 | 알고리즘 편향 |
| 저작권과 데이터 | 저작물을 허락 없이 학습에 썼다는 소송과 논쟁, 학습 데이터 출처 공개 요구가 이어진다. 개인정보가 학습 데이터에 섞이거나 출력으로 새어 나오는 문제도 있다 | 개인정보 비식별 |
| 보안 | 입력에 숨긴 명령으로 모델을 조종하는 프롬프트 인젝션, 안전장치를 우회하는 탈옥, 모델을 이용한 사이버 공격이 문제가 된다. 2026년에는 고성능 모델의 사이버보안 능력이 국가 안보 문제로 다뤄져 미국 정부가 특정 모델의 접근 중단을 지시하는 일도 있었다[29] | 프롬프트 인젝션, 탈옥 (인공지능), 인공지능 레드티밍 |
| 에너지와 비용 | 학습과 서빙에 막대한 전력과 반도체가 든다. 효율이 좋아질수록 사용량이 더 늘어나는 제번스의 역설도 거론된다 | 대형 언어 모델 효율화 |
| 생성물 식별 | AI가 만든 글과 사람이 쓴 글을 구별하기 어려워 표절, 허위 정보, 저품질 콘텐츠 범람이 문제가 된다 | AI 워터마크, AI 슬롭 |
| 규제 | 고위험 AI와 범용 AI 모델에 의무를 부과하는 법이 생겼다 | EU 인공지능법, 인공지능기본법 |
- ↑ 1.0 1.1 OpenAI, Better language models and their implications, 2019-02-14.
- ↑ M. Shoeybi 외, 〈Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism〉, 2019. arXiv:1909.08053
- ↑ 3.0 3.1 3.2 3.3 T. Brown 외, 〈Language Models are Few-Shot Learners〉, NeurIPS, 2020. arXiv:2005.14165
- ↑ J. W. Rae 외, 〈Scaling Language Models: Methods, Analysis & Insights from Training Gopher〉, 2021. arXiv:2112.11446
- ↑ A. Chowdhery 외, 〈PaLM: Scaling Language Modeling with Pathways〉, 2022. arXiv:2204.02311
- ↑ 6.0 6.1 J. Hoffmann 외, 〈Training Compute-Optimal Large Language Models〉, 2022. arXiv:2203.15556
- ↑ 7.0 7.1 L. Ouyang 외, 〈Training language models to follow instructions with human feedback〉, 2022. arXiv:2203.02155
- ↑ 8.0 8.1 OpenAI, Introducing ChatGPT, 2022-11-30.
- ↑ 9.0 9.1 9.2 Meta AI, Introducing LLaMA: A foundational, 65-billion-parameter large language model, 2023-02-24.
- ↑ 10.0 10.1 OpenAI, GPT-4, 2023-03-14.
- ↑ 11.0 11.1 Anthropic, Claude 2, 2023-07-11.
- ↑ 12.0 12.1 12.2 H. Touvron 외, 〈Llama 2: Open Foundation and Fine-Tuned Chat Models〉, 2023. arXiv:2307.09288
- ↑ Google, Introducing Gemini: our largest and most capable AI model, 2023-12-06.
- ↑ 14.0 14.1 Mistral AI, Mistral 7B, 2023-09-27.
- ↑ 15.0 15.1 15.2 A. Grattafiori 외, 〈The Llama 3 Herd of Models〉, 2024. arXiv:2407.21783
- ↑ 16.0 16.1 OpenAI, Learning to reason with LLMs, 2024-09-12.
- ↑ 17.0 17.1 17.2 DeepSeek-AI, 〈DeepSeek-V3 Technical Report〉, 2024. arXiv:2412.19437
- ↑ DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948
- ↑ 19.0 19.1 DeepSeek-AI, DeepSeek-R1 모델 카드, 2026-10-15 확인.
- ↑ 20.0 20.1 Anthropic, Claude 3.7 Sonnet and Claude Code, 2025-02-24.
- ↑ 21.0 21.1 Meta AI, The Llama 4 herd, 2025-04-05.
- ↑ 22.0 22.1 22.2 Qwen Team, Qwen3: Think Deeper, Act Faster, 2025-04-29.
- ↑ 23.0 23.1 Anthropic, Introducing Claude 4, 2025-05-22.
- ↑ 24.0 24.1 OpenAI, Introducing GPT-5, 2025-08-07.
- ↑ 25.0 25.1 25.2 Google, A new era of intelligence with Gemini 3, 2025-11-18.
- ↑ Anthropic, Claude Mythos Preview, 2026-04-07.
- ↑ 27.0 27.1 OpenAI, Introducing GPT-5.5, 2026-04-23.
- ↑ 28.0 28.1 Anthropic, Claude Fable 5 and Claude Mythos 5, 2026-06-09.
- ↑ 29.0 29.1 Anthropic, Statement on the US government directive to suspend access to Fable 5 and Mythos 5, 2026-06-12.
- ↑ 30.0 30.1 Moonshot AI, Kimi-K3 모델 카드, 2026-10-15 확인.
- ↑ 31.0 31.1 OpenAI, GPT-6 Astra: A new generation of intelligence, 2026-09-03.
- ↑ 32.0 32.1 Anthropic, Introducing Claude Opus 5.5, 2026-09-22.
- ↑ Meta, Llama-4-Scout-17B-16E 모델 카드, 2026-10-15 확인.
- ↑ R. Rafailov 외, 〈Direct Preference Optimization: Your Language Model is Secretly a Reward Model〉, 2023. arXiv:2305.18290
- ↑ Y. Bai 외, 〈Constitutional AI: Harmlessness from AI Feedback〉, 2022. arXiv:2212.08073
- ↑ W. Kwon 외, 〈Efficient Memory Management for Large Language Model Serving with PagedAttention〉, SOSP, 2023. arXiv:2309.06180
- ↑ E. Frantar 외, 〈GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers〉, 2022. arXiv:2210.17323
- ↑ J. Wei 외, 〈Chain-of-Thought Prompting Elicits Reasoning in Large Language Models〉, 2022. arXiv:2201.11903
- ↑ T. Kojima 외, 〈Large Language Models are Zero-Shot Reasoners〉, 2022. arXiv:2205.11916
- ↑ T. Schick 외, 〈Toolformer: Language Models Can Teach Themselves to Use Tools〉, 2023. arXiv:2302.04761
- ↑ J. Wei 외, 〈Emergent Abilities of Large Language Models〉, 2022. arXiv:2206.07682
- ↑ R. Schaeffer, B. Miranda, S. Koyejo, 〈Are Emergent Abilities of Large Language Models a Mirage?〉, NeurIPS, 2023. arXiv:2304.15004
- ↑ Mistral AI, Mixtral of experts, 2023-12-11.
- ↑ Google, Our next-generation model: Gemini 1.5, 2024-02-15.
- ↑ Anthropic, Introducing the next generation of Claude, 2024-03-04.
- ↑ OpenAI, Hello GPT-4o, 2024-05-13.
- ↑ 네이버, 국내 최초의 초대규모 AI '하이퍼클로바(HyperCLOVA)' 공개, 2021-05-25.
- ↑ S. An 외, 〈EXAONE 3.0 7.8B Instruction Tuned Language Model〉, 2024. arXiv:2408.03541
- ↑ LG AI연구원, LG AI연구원, 국내 최대 파라미터 7,500억 개 'K-엑사원 2.0' 공개, 2026-07-31.
- ↑ D. Kim 외, 〈SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling〉, 2023. arXiv:2312.15166
- ↑ 업스테이지, 업스테이지, 에이전트 특화 오픈웨이트 모델 '솔라 오픈 2' 공개, 2026-07-23.
- ↑ OpenAI, GPT-6 and Intelligent UI for everyone, 2026-10-07.
- A. Vaswani 외, 〈Attention Is All You Need〉, NeurIPS, 2017. arXiv:1706.03762
- R. Bommasani 외, 〈On the Opportunities and Risks of Foundation Models〉, Stanford CRFM, 2021. arXiv:2108.07258