언어 모델
더 많은 작업
- Language model; 언어 모델
- 자연어 문장(토큰열)에 확률을 매기거나, 앞의 문맥이 주어졌을 때 다음에 올 토큰의 확률 분포를 예측하는 모델
언어 모델(Language Model, LM)은 단어나 토큰이 늘어선 순서에 확률을 부여하는 모델이다. "오늘 날씨가 참" 다음에 "좋다"가 올 확률이 "냉장고"가 올 확률보다 높다는 식의 지식을 수치로 담는다. 이 확률을 계산할 수 있으면 여러 후보 문장 가운데 더 자연스러운 것을 고를 수 있고, 확률이 높은 토큰을 하나씩 뽑아 이어 붙이면 새 문장을 만들 수 있다.
언어 모델은 원래 음성 인식, 기계 번역, 광학 문자 인식, 맞춤법 교정에서 "후보 가운데 사람이 실제로 쓸 법한 문장"을 고르는 부품이었다. 1970~2000년대에는 단어 몇 개의 출현 빈도를 세는 통계적 n-gram 모델이 주류였고, 2000년대 이후 신경망 언어 모델이 등장했으며, 2017년 트랜스포머 이후에는 사전 학습한 거대 신경망 하나가 번역·요약·질의응답·코딩을 모두 처리하는 단계에 이르렀다. 이렇게 매개변수와 학습 데이터를 크게 키운 언어 모델을 대형 언어 모델(LLM)이라 부른다.
이 문서는 언어 모델이라는 넓은 개념의 정의, 통계적 모델에서 신경망 모델까지의 흐름, 학습 목표에 따른 구분, 평가 방법, 여러 분류 축을 다룬다. LLM 특유의 학습 파이프라인, 서빙, 주요 모델 목록, 시장, 사회적 문제는 대형 언어 모델 문서에서 다룬다.
문장 의 확률은 확률의 연쇄 법칙으로 다음처럼 쪼갤 수 있다.
따라서 "앞 문맥이 주어졌을 때 다음 토큰의 조건부 확률"만 잘 추정하면 문장 전체의 확률을 얻는다. 이 분해를 그대로 학습하는 모델을 자기회귀(autoregressive) 언어 모델 또는 인과(causal) 언어 모델이라 한다. 반면 문장 중간의 일부 토큰을 가리고 양쪽 문맥으로 가린 토큰을 맞히게 하는 마스크 언어 모델(masked language model)은 문장 전체 확률을 바로 주지는 않지만, 문맥을 반영한 표현(임베딩)을 얻는 데 강하다. 넓은 의미에서는 둘 다 언어 모델이라 부른다.
언어 모델이 다루는 단위는 시대에 따라 달라졌다. 통계 모델은 주로 단어를, 초기 신경망 모델은 단어나 문자를 썼고, 현대 모델은 단어보다 작은 서브워드 토큰을 쓴다. 텍스트를 이런 단위로 나누는 과정은 토큰화 (자연어 처리) 문서에서 다룬다.
언어 모델의 쓰임은 크게 둘로 나뉜다.
- 점수 매기기: 음성 인식기나 번역기가 만든 후보 문장들 가운데 확률이 가장 높은 것을 고른다. 철자 교정, 입력기 자동 완성, 문장 자연스러움 판정도 같은 원리다.
- 생성: 확률 분포에서 토큰을 하나씩 뽑아 문장을 이어 쓴다. 어떤 규칙으로 뽑는지는 언어 모델 디코딩 문서에서 다룬다.
1970년대 IBM 연구소의 프레더릭 젤리넥(Frederick Jelinek) 연구진은 음성 인식에 단어 n-gram 확률 모델을 적용했고, 언어 모델의 불확실성을 재는 척도로 퍼플렉시티(perplexity)를 도입했다.[2] 이후 30년 가까이 통계적 n-gram 모델이 음성 인식과 통계 기계 번역의 표준 부품이었다.
n-gram 언어 모델은 바로 앞의 개 단어만 보고 다음 단어를 예측한다(마르코프 가정).
여기서 는 말뭉치에서 센 출현 횟수다. 문제는 데이터 희소성이다. 말뭉치에 한 번도 나오지 않은 조합은 확률이 0이 되어 문장 전체 확률도 0이 된다. 이를 막기 위해 관찰된 빈도에서 확률을 조금 떼어 보지 못한 조합에 나눠 주는 평활화(smoothing) 기법이 발달했다.
| 기법 | 아이디어 | 비고 |
|---|---|---|
| 라플라스(가산) 평활화 | 모든 조합의 빈도에 1(또는 작은 수)을 더한다 | 가장 단순하지만 어휘가 크면 보지 못한 조합에 확률을 너무 많이 준다 |
| 굿-튜링 추정 | 한 번 나온 조합의 수로 보지 못한 조합 전체의 확률을 추정한다 | 1953년 I. J. 굿이 앨런 튜링의 아이디어를 바탕으로 발표[3] |
| 백오프(back-off) | 긴 n-gram이 없으면 더 짧은 n-gram 확률로 물러선다 | 카츠 백오프(1987)가 대표적 |
| 보간(interpolation) | 여러 차수의 n-gram 확률을 가중 평균한다 | 젤리넥-머서 보간 |
| 크네저-나이 평활화 | 낮은 차수 확률을 "얼마나 다양한 문맥 뒤에 나오는가"로 계산한다 | 1995년 제안.[4] 수정판(modified Kneser-Ney)이 n-gram 모델의 사실상 표준이 되었다 |
통계 모델 시대에는 최대 엔트로피(maximum entropy) 모델처럼 n-gram 이외의 특징을 함께 쓰는 지수 모델, 단어를 군집으로 묶는 클래스 기반 모델, 문서 주제를 반영하는 캐시 모델도 쓰였다. 그러나 n-gram 모델은 문맥 길이를 늘리면 조합 수가 기하급수로 늘어나는 차원의 저주를 피할 수 없었고, "고양이"와 "강아지"가 비슷한 말이라는 사실도 알지 못했다.
요슈아 벤지오(Yoshua Bengio) 연구진은 2003년 단어마다 실수 벡터(분산 표현)를 배정하고 신경망이 이 벡터들로 다음 단어 확률을 계산하는 신경망 확률 언어 모델을 발표했다.[5] 비슷한 단어는 비슷한 벡터를 갖게 되므로, 학습 데이터에서 본 적 없는 단어 조합에도 확률을 합리적으로 나눌 수 있다. 오늘날 워드 임베딩과 신경망 언어 모델의 출발점으로 꼽힌다.
2010년 토마시 미콜로프(Tomáš Mikolov) 등은 순환 신경망(RNN) 언어 모델을 발표했다. 여러 RNN 언어 모델을 섞으면 당시 최고 수준의 백오프 n-gram 모델보다 퍼플렉시티를 약 50% 줄일 수 있다고 보고했다.[6] RNN은 이론상 문맥 길이에 제한이 없지만 긴 문장에서 기울기 소실 문제가 있었고, 이를 완화한 LSTM이 2010년대 중반까지 언어 모델의 주력 구조였다.
2013년 미콜로프 등의 Word2Vec은 언어 모델 학습을 단순화해, 16억 단어 규모 데이터에서 하루 안에 품질 좋은 단어 벡터를 얻을 수 있음을 보였다.[7] 이후 시퀀스-투-시퀀스 구조와 어텐션 메커니즘이 기계 번역을 바꾸었고, 2018년 ELMo는 양방향 LSTM 언어 모델의 내부 상태를 문맥별 단어 표현으로 쓰는 방법을 제시했다.[8] 언어 모델을 먼저 크게 학습해 두고 다른 작업에 옮겨 쓰는 사전 학습 패러다임이 이때 자리 잡기 시작했다.
2017년 구글 연구진은 순환 구조 없이 셀프 어텐션만으로 문장을 처리하는 트랜스포머를 발표했다.[9] 모든 위치를 한꺼번에 계산할 수 있어 병렬화가 쉬웠고, 먼 위치 사이의 관계도 한 단계 만에 연결할 수 있었다. 이후 언어 모델은 거의 모두 트랜스포머 위에서 만들어졌다. 자세한 내용은 Attention is All You Need (논문) 문서 참고.
- 2018년 6월 11일 OpenAI는 트랜스포머 디코더를 대량의 책 텍스트로 사전 학습한 뒤 작업별로 미세조정하는 GPT-1을 발표했다.[10]
- 2018년 10월 구글은 마스크 언어 모델 방식으로 양방향 문맥을 학습한 BERT를 발표했다. 문장 분류, 질의응답 같은 이해 작업에서 당시 최고 성능을 크게 넘었다.[11]
- 2019년 2월 14일 OpenAI는 매개변수 15억 개의 GPT-2를 발표하면서 악용 우려를 이유로 모델을 단계적으로 공개했다. 웹 페이지 800만 개(약 40GB)로 학습했고, 작업별 학습 없이도(제로샷) 여러 작업을 어느 정도 수행했다.[12]
- 2019년 구글의 T5는 모든 작업을 "텍스트를 넣고 텍스트를 받는" 형식으로 통일한 인코더-디코더 모델이다.[13]
- 2020년 1월 OpenAI 연구진은 언어 모델의 손실이 모델 크기, 데이터 양, 연산량의 거듭제곱 법칙을 따른다는 스케일링 법칙을 발표했다.[14]
- 2020년 5월 발표된 GPT-3(매개변수 1750억 개)는 프롬프트에 예시 몇 개만 넣으면 미세조정 없이 새 작업을 수행하는 인컨텍스트 러닝 능력을 보였다.[15]
- 2022년 11월 30일 OpenAI가 인간 피드백 기반 강화 학습(RLHF)으로 대화에 맞춘 ChatGPT를 공개하면서 언어 모델은 일반 대중이 직접 쓰는 제품이 되었다.[16]
2023년 이후의 흐름(GPT-4, 클로드, 제미나이, 라마, 딥시크, 추론 모델 등)은 대형 언어 모델 문서의 역사와 주요 모델 절에서 다룬다.
현대 언어 모델은 대부분 다음 부품을 차례로 거친다. 각 부품의 세부는 해당 문서에서 다룬다.
| 단계 | 하는 일 | 관련 문서 |
|---|---|---|
| 토큰화 | 텍스트를 어휘 사전에 있는 토큰 번호열로 바꾼다. 현대 모델은 BPE 같은 서브워드 방식을 쓴다 | 토큰화 (자연어 처리) |
| 임베딩 | 토큰 번호마다 학습된 벡터를 꺼낸다. 위치 정보도 더하거나 회전으로 섞는다 | 워드 임베딩, 위치 인코딩 |
| 트랜스포머 블록 반복 | 셀프 어텐션으로 다른 위치의 정보를 모으고, 피드포워드 신경망으로 변환한다. 수십~백여 층을 쌓는다 | 트랜스포머 블록, 셀프 어텐션, 레이어 정규화 |
| 출력층 | 마지막 은닉 벡터를 어휘 크기의 점수(로짓)로 바꾸고 소프트맥스로 확률 분포를 만든다 | 소프트맥스 |
| 학습 | 정답 토큰의 확률에 대한 교차 엔트로피를 최소화하도록 역전파와 경사 하강법으로 매개변수를 고친다 | Adam 옵티마이저 |
| 생성(디코딩) | 확률 분포에서 다음 토큰을 고르고, 그 토큰을 입력 끝에 붙여 반복한다 | 언어 모델 디코딩, KV 캐시 |
모델이 한 번에 볼 수 있는 토큰 수의 상한을 컨텍스트 윈도우라 한다. 같은 구조를 키우면 성능이 예측 가능하게 오른다는 경험 법칙은 스케일링 법칙 (인공지능) 문서에서, 프롬프트 안의 예시만으로 새 작업을 수행하는 현상은 인컨텍스트 러닝 문서에서 다룬다.
| 연도 | 사건 |
|---|---|
| 1948 | 섀넌, 문자·단어 n-gram 근사로 영어 문장을 생성하는 예를 제시 |
| 1951 | 섀넌, 사람의 다음 글자 맞히기 실험으로 영어의 엔트로피 추정 |
| 1970년대 | IBM 젤리넥 연구진, 음성 인식에 n-gram 언어 모델 적용, 퍼플렉시티 도입 |
| 1995 | 크네저-나이 평활화 발표 |
| 2003 | 벤지오 등, 신경망 확률 언어 모델 발표 |
| 2010 | 미콜로프 등, RNN 언어 모델 발표 |
| 2013 | Word2Vec 발표 |
| 2017 | 트랜스포머 발표 |
| 2018 | ELMo(2월), GPT-1(6월), BERT(10월) 발표. 사전 학습 후 미세조정 방식 정착 |
| 2019 | GPT-2(2월), T5(10월) 발표 |
| 2020 | 스케일링 법칙(1월), GPT-3(5월) 발표 |
| 2022 | 친칠라 스케일링(3월), InstructGPT(3월), ChatGPT(11월) 공개 |
| 2023 | GPT-4, 라마, 클로드 등 공개. 오픈 웨이트 모델 확산 |
| 2024 | OpenAI o1(9월) 공개, 추론 모델 등장 |
| 2025 | 딥시크-R1(1월) 공개, 확산 언어 모델 LLaDA(2월) 발표, 하이브리드 추론 모델 확산 |
2023년 이후 세부 연표는 대형 언어 모델 문서 참고.
| 구분 | 통계적 n-gram 모델 | RNN·LSTM 언어 모델 | 트랜스포머 언어 모델 |
|---|---|---|---|
| 대표 시기 | 1980~2000년대 | 2010~2017년 | 2018년~ |
| 문맥 길이 | 보통 2~5단어 | 이론상 무제한, 실제로는 수십~수백 토큰 | 컨텍스트 윈도우 안의 전체 토큰(수천~수백만) |
| 단어 표현 | 서로 무관한 기호 | 학습된 임베딩 벡터 | 문맥에 따라 달라지는 임베딩 |
| 보지 못한 조합 | 평활화로 보정 | 임베딩 유사성으로 일반화 | 임베딩과 어텐션으로 일반화 |
| 학습 병렬화 | 빈도 세기라 쉬움 | 순차 계산이라 어려움 | 위치별 병렬 계산 가능 |
| 주된 용도 | 음성 인식·번역의 점수 매기기 | 점수 매기기, 짧은 생성 | 범용 생성, 이해, 대화, 코딩 |
트랜스포머 언어 모델은 무엇을 맞히도록 학습하느냐에 따라 구조와 쓰임이 갈린다.
| 방식 | 학습 과제 | 구조 | 대표 모델 | 강점 |
|---|---|---|---|---|
| 인과 언어 모델(자기회귀) | 앞 토큰들로 다음 토큰 예측 | 디코더 전용, 인과 마스킹 | GPT-1~GPT 계열, 라마, 클로드 | 생성. 하나의 모델로 거의 모든 작업을 텍스트 생성 문제로 풀 수 있다 |
| 마스크 언어 모델 | 가려진 토큰을 양쪽 문맥으로 예측 | 인코더 전용 | BERT, RoBERTa | 분류, 개체명 인식, 검색용 임베딩 |
| 인코더-디코더(스팬 복원) | 지워진 구간을 복원해 출력 | 인코더와 디코더 | T5, BART | 번역, 요약처럼 입력과 출력이 분명한 작업 |
| 확산 언어 모델 | 노이즈(마스크)가 낀 전체 문장을 여러 단계에 걸쳐 복원 | 대개 양방향 트랜스포머 | LLaDA, 제미나이 디퓨전 | 여러 토큰을 병렬로 만들어 생성 속도가 빠를 수 있다 |
GPT식 모델은 "나는 배가 고파서 ___"의 빈칸이 문장 끝에만 있다고 보고 왼쪽 문맥만으로 다음 말을 맞힌다. BERT식 모델은 "나는 [MASK] 고파서 밥을 먹었다"처럼 문장 가운데를 가리고 양쪽을 모두 본다. 양방향 문맥을 보는 BERT는 이해 작업에 유리했지만, 문장을 왼쪽부터 차례로 만들어 내는 생성에는 맞지 않는다. 모델 규모가 커지면서 생성형인 자기회귀 모델이 이해 작업까지 흡수했고, 2020년대 대화형 서비스는 대부분 자기회귀 모델 위에 세워졌다. 마스크 언어 모델 계열은 문장 임베딩, 검색 증강 생성(RAG)의 검색기, 분류기처럼 생성이 아닌 곳에서 계속 쓰인다. 관련 내용은 자기회귀 언어 모델, 양방향 언어 모델, 임베딩 모델 문서 참고.
언어 모델 자체의 품질은 처음 보는 텍스트에 얼마나 높은 확률을 주는지로 잰다. 테스트 텍스트 에 대한 퍼플렉시티(perplexity, PPL)는 다음과 같다.
괄호 안은 토큰당 평균 교차 엔트로피이므로, 퍼플렉시티는 "모델이 매 위치에서 평균적으로 몇 개의 후보 사이에서 헷갈리는가"로 해석할 수 있다. 낮을수록 좋다. 다만 토큰화 방식이 다르면 같은 문장도 토큰 수가 달라지므로, 서로 다른 토크나이저를 쓴 모델끼리는 퍼플렉시티를 직접 비교할 수 없다. 이때는 문자당 비트(bits per character)나 바이트당 비트(bits per byte)를 쓴다. 학습 중 퍼플렉시티(손실)는 스케일링 법칙을 측정하는 기본 지표이기도 하다.
퍼플렉시티가 낮다고 실제 작업을 잘한다는 보장은 없으므로, 실제 과제를 풀게 해 점수를 매기는 벤치마크를 함께 쓴다.
| 범주 | 예 | 재는 것 |
|---|---|---|
| 언어 이해 | GLUE, SuperGLUE | 문장 분류, 함의 판정, 유사도 |
| 지식 | MMLU, MMLU-Pro | 57개 과목 등 폭넓은 객관식 지식 |
| 상식·독해 | HellaSwag, WinoGrande, ARC | 문장 이어 쓰기, 대명사 해소, 초등 과학 문제 |
| 수학 | GSM8K, MATH, AIME | 서술형 산수, 경시대회 수학 |
| 코드 | HumanEval, SWE-bench | 함수 작성, 실제 저장소의 이슈 해결 |
| 고난도 추론 | GPQA, Humanity's Last Exam | 대학원 수준 과학 문제, 전문가 출제 문제 |
| 사람 선호 | 챗봇 아레나(LMArena) | 두 모델의 답을 사람이 비교해 매긴 순위 |
| 긴 문맥 | 건초 더미 속 바늘(NIAH), RULER | 긴 입력 안의 정보 찾기와 활용 |
벤치마크는 시간이 지나면 포화된다. 2024년 OpenAI는 MATH와 GSM8K가 최신 모델들을 더는 변별하지 못한다고 밝히고 AIME 같은 더 어려운 시험을 썼다.[17] 시험 문제가 학습 데이터에 섞여 들어가는 데이터 오염(contamination)도 점수를 부풀린다. 이 때문에 공개 직후의 새 시험 문제, 비공개 문제 은행, 사람 선호 평가를 함께 본다. 자세한 내용은 인공지능 평가 문서 참고.
언어 모델은 한 가지 기준으로 나뉘지 않는다. 아래 축들은 서로 독립이어서, 예컨대 "개방형·희소·추론형·자기회귀 대형 언어 모델"처럼 조합된다.
| 축 | 한쪽 | 다른 쪽 | 요점 | 자세히 |
|---|---|---|---|---|
| 출력 형태 | 생성형 | 판별형(표현형) | 생성형은 텍스트를 만들고, 판별형은 분류나 임베딩을 낸다. BERT는 판별형이다 | 생성 모델, BERT |
| 규모 | 대형 언어 모델 | 소형 언어 모델 | 합의된 경계는 없다. 실무에서는 단말에서 돌아가는가, 서버가 필요한가로 나누기도 한다 | 대형 언어 모델, 소형 언어 모델 |
| 추론 방식 | 추론 모델 | 비추론 모델 | 추론 모델은 답하기 전에 긴 사고 과정을 생성하도록 강화 학습된 모델이다 | 추론 모델 (인공지능) |
| 수치 정밀도 | FP32·BF16 | FP8·INT8·4비트 이하 | 정밀도를 낮추면 메모리와 연산이 줄지만 품질이 떨어질 수 있다 | 신경망 양자화 |
| 공개 범위 | 폐쇄형 | 개방형(오픈 웨이트) | 가중치를 내려받아 직접 실행할 수 있는지 여부 | 오픈 웨이트 모델 |
| 생성 방식 | 자기회귀 | 확산 | 한 토큰씩 왼쪽부터 만드는가, 문장 전체를 여러 단계에 걸쳐 다듬는가 | 확산 모델 |
| 활성 매개변수 | 밀집(dense) | 희소(sparse, MoE) | 토큰마다 모든 매개변수를 쓰는가, 일부 전문가만 쓰는가 | 전문가 혼합 |
| 출력 대상 | 언어 모델 | 행동 모델 | 텍스트를 내는가, 도구 호출·화면 조작·로봇 동작을 내는가 | 비전-언어-행동 모델, 에이전트 인공지능 |
| 입력 양식 | 텍스트 전용 | 멀티모달 | 이미지, 음성, 영상까지 토큰으로 받는가 | 멀티모달 인공지능, 비전-언어 모델 |
신경망 가중치와 연산은 32비트 부동소수점(FP32)에서 출발해, 학습에는 16비트(FP16, BF16)를 섞어 쓰는 혼합 정밀도가, 추론에는 8비트(FP8, INT8)와 4비트 형식이 쓰인다. 엔비디아 블랙웰 아키텍처는 4비트 부동소수점(FP4, NVFP4) 연산을 지원한다.[18] 개인 PC에서 모델을 돌리는 Llama.cpp 생태계에서는 GGUF 포맷의 Q8, Q6, Q5, Q4 같은 양자화 단계가 쓰이며, 숫자가 작을수록 파일이 작고 품질 손실이 커진다. 가중치를 -1, 0, 1의 세 값만으로 표현하는 BitNet b1.58 같은 극단적 저정밀 연구도 있다.[19] 자세한 내용은 신경망 양자화, 부동소수점 연산 문서 참고.
| 형식 | 비트 수 | 매개변수 70억 개 모델의 가중치 크기(근사) | 주 용도 |
|---|---|---|---|
| FP32 | 32 | 약 28GB | 과거의 학습 표준, 기준 정밀도 |
| FP16·BF16 | 16 | 약 14GB | 혼합 정밀도 학습, 서버 추론 |
| FP8·INT8 | 8 | 약 7GB | 서버 추론, 일부 학습 |
| 4비트(INT4, FP4, Q4 계열) | 4 | 약 3.5GB | 개인 PC·단말 추론 |
위 표의 크기는 매개변수 수에 비트 수를 곱한 값이며, 실제 실행에는 KV 캐시와 활성값 메모리가 더 든다.
OpenAI의 GPT 계열, 앤트로픽의 클로드, 구글의 제미나이는 가중치를 공개하지 않고 API와 자사 서비스로만 제공한다. 메타의 라마, 구글의 젬마, 딥시크, 알리바바의 큐원, 미스트랄 일부 모델, 국내의 엑사원·솔라 등은 가중치를 공개한다. 가중치 공개와 학습 데이터·코드 공개는 별개여서, 가중치만 공개한 모델을 오픈 소스와 구분해 "오픈 웨이트" 모델이라 부른다. 라이선스도 상업 이용 허용 여부, 사용자 수 제한 등이 모델마다 다르다. 자세한 내용은 오픈 웨이트 모델 문서 참고.
전통적인 언어 모델은 왼쪽부터 한 토큰씩 만든다. 확산 언어 모델(dLLM)은 이미지 확산 모델처럼 전체 출력을 노이즈(마스크) 상태에서 출발해 여러 단계에 걸쳐 다듬는다. 2025년 2월 발표된 LLaDA는 처음부터 확산 방식으로 사전 학습한 80억 매개변수 규모 모델이 같은 조건의 자기회귀 모델과 비슷한 성능을 낸다고 보고했다.[20] 구글 딥마인드는 실험 모델 제미나이 디퓨전을 공개하며, 확산 방식이 생성 도중 오류를 고칠 수 있고 자사의 가장 빠른 모델보다 훨씬 빠르게 생성한다고 설명했다.[21] 2026년 현재 확산 언어 모델은 아직 실험 단계로 평가된다.
밀집 모델은 토큰마다 모든 매개변수를 계산에 쓴다. 전문가 혼합(Mixture of Experts, MoE) 구조의 희소 모델은 층마다 여러 전문가 신경망을 두고 라우터가 토큰마다 일부만 고른다. 미스트랄의 Mixtral 8x7B는 전체 매개변수 470억 개 가운데 토큰당 130억 개만 쓴다.[22] 딥시크-V3는 전체 6710억 개 가운데 토큰당 370억 개를 활성화한다.[23] 같은 연산량으로 더 많은 지식을 담을 수 있어 2024년 이후 대형 공개 모델 상당수가 MoE를 택했다. 대신 전체 매개변수를 메모리에 올려야 하므로 메모리 요구량은 줄지 않는다.
언어 모델의 출력은 말(텍스트)이다. 이 출력을 도구 호출, 웹 브라우저나 컴퓨터 화면 조작, 로봇 관절 명령으로 바꾸면 모델이 직접 환경에 작용한다. 이렇게 행동을 출력하는 모델을 행동 모델(action model)이라 부르기도 하며, 대형 행동 모델(Large Action Model, LAM)이라는 마케팅 용어도 쓰였다. 학술적으로는 화면 조작은 컴퓨터 사용 에이전트, 로봇 제어는 비전-언어-행동 모델(VLA)로 다루는 경우가 많다. 관련 내용은 도구 호출 (인공지능), 에이전트 인공지능 문서 참고.
- 음성 인식과 기계 번역: 후보 문장의 점수 매기기에서 출발해, 지금은 번역 자체를 언어 모델이 수행한다. 음성 인식, 기계 번역 참고.
- 대화형 비서와 챗봇: ChatGPT, 앤트로픽 클로드, 구글 제미나이, 하이퍼클로바 등.
- 검색과 질의응답: 임베딩 기반 검색, 검색 증강 생성.
- 프로그래밍: 코드 자동 완성과 코딩 에이전트. 깃허브 코파일럿, 클로드 코드, 바이브 코딩 참고.
- 텍스트 분석: 감성 분석, 분류, 정보 추출, 요약.
- 에이전트: 계획을 세우고 도구를 호출해 여러 단계 작업을 수행. 에이전트 인공지능, 모델 컨텍스트 프로토콜 참고.
- 비언어 서열: 단백질·유전체·분자 서열에도 같은 원리의 "언어 모델"이 쓰인다.
- 언어 모델이 배우는 것은 텍스트의 통계적 규칙성이므로, 그럴듯하지만 사실이 아닌 문장을 만들 수 있다. 할루시네이션 (인공지능) 참고.
- 학습 데이터의 편향과 학습 시점 이후의 정보 부재가 그대로 출력에 반영된다. 알고리즘 편향 참고.
- 언어 모델이 사람과 비슷한 수준의 언어 능력을 보이더라도 인간 언어 처리의 그럴듯한 인지 모형인지는 논쟁 중이다. 순환 신경망 연구에서는 사람이 배우지 않는 패턴을 배우고, 사람이 쉽게 배우는 패턴을 놓치는 경우가 보고되었다.
- 대형 모델의 학습·운영 비용, 저작권, 보안 문제는 대형 언어 모델 문서의 문제점 절에서 다룬다.
- ↑ C. E. Shannon, 〈Prediction and Entropy of Printed English〉, Bell System Technical Journal 30(1), 1951.
- ↑ F. Jelinek, R. L. Mercer, L. R. Bahl, J. K. Baker, 〈Perplexity: a measure of the difficulty of speech recognition tasks〉, Journal of the Acoustical Society of America 62(S1), 1977.
- ↑ I. J. Good, 〈The Population Frequencies of Species and the Estimation of Population Parameters〉, Biometrika 40(3/4), 1953.
- ↑ R. Kneser, H. Ney, 〈Improved backing-off for M-gram language modeling〉, ICASSP, 1995.
- ↑ Y. Bengio, R. Ducharme, P. Vincent, C. Jauvin, 〈A Neural Probabilistic Language Model〉, Journal of Machine Learning Research 3, 2003. JMLR
- ↑ T. Mikolov, M. Karafiát, L. Burget, J. Černocký, S. Khudanpur, 〈Recurrent neural network based language model〉, Interspeech, 2010. ISCA Archive
- ↑ T. Mikolov, K. Chen, G. Corrado, J. Dean, 〈Efficient Estimation of Word Representations in Vector Space〉, 2013. arXiv:1301.3781
- ↑ M. E. Peters 외, 〈Deep contextualized word representations〉, NAACL, 2018. arXiv:1802.05365
- ↑ A. Vaswani 외, 〈Attention Is All You Need〉, NeurIPS, 2017. arXiv:1706.03762
- ↑ OpenAI, Improving language understanding with unsupervised learning, 2018-06-11.
- ↑ 11.0 11.1 J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, 〈BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding〉, 2018. arXiv:1810.04805
- ↑ OpenAI, Better language models and their implications, 2019-02-14.
- ↑ C. Raffel 외, 〈Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer〉, 2019. arXiv:1910.10683
- ↑ J. Kaplan 외, 〈Scaling Laws for Neural Language Models〉, 2020. arXiv:2001.08361
- ↑ T. Brown 외, 〈Language Models are Few-Shot Learners〉, NeurIPS, 2020. arXiv:2005.14165
- ↑ OpenAI, Introducing ChatGPT, 2022-11-30.
- ↑ OpenAI, Learning to reason with LLMs, 2024-09-12.
- ↑ NVIDIA, NVIDIA Blackwell Architecture, 2026-10-15 확인.
- ↑ S. Ma 외, 〈The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits〉, 2024. arXiv:2402.17764
- ↑ S. Nie 외, 〈Large Language Diffusion Models〉, 2025. arXiv:2502.09992
- ↑ Google DeepMind, Gemini Diffusion, 2026-10-15 확인.
- ↑ A. Q. Jiang 외, 〈Mixtral of Experts〉, 2024. arXiv:2401.04088
- ↑ DeepSeek-AI, 〈DeepSeek-V3 Technical Report〉, 2024. arXiv:2412.19437
- D. Jurafsky, J. H. Martin, 《Speech and Language Processing》 3판 초고, 3장 〈N-gram Language Models〉. 온라인판
- S. F. Chen, J. Goodman, 〈An Empirical Study of Smoothing Techniques for Language Modeling〉, Harvard University TR-10-98, 1998.
- S. J. Mielke 외, 〈Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP〉, 2021. arXiv:2112.10508