소형 언어 모델
IT 위키
더 많은 작업
- Small Language Model, SLM; 소형 언어 모델
- 대형 언어 모델과 같은 구조를 쓰되 매개변수 수를 줄여 개인 기기나 적은 자원으로도 실행할 수 있게 만든 언어 모델
소형 언어 모델(Small Language Model, SLM)은 대형 언어 모델(LLM)과 같은 트랜스포머 구조를 쓰면서 매개변수 수를 크게 줄인 언어 모델을 가리키는 말이다. 스마트폰, 노트북, 단일 GPU 서버처럼 자원이 제한된 환경에서 돌리거나, 특정 업무에 싸게 미세 조정해 쓰는 것이 주된 목적이다. 한국에서는 "소형 LLM"이라는 뜻으로 sLLM이라는 표기도 쓰인다.
몇 개 이상의 매개변수부터 "대형"이고 몇 개 이하가 "소형"인지는 합의된 기준이 없다. IBM은 소형 언어 모델의 매개변수 규모를 "수백만에서 수십억 개" 정도로 설명하고, 대형 모델은 보통 수천억 개 이상이라고 대비한다.[1] 마이크로소프트는 Phi-3를 소개하며 소형 모델을 단순한 작업에 맞고, 자원이 적은 조직도 도입·미세 조정하기 쉬운 모델로 설명했다.[2]
실무에서는 대체로 다음 두 가지 감각으로 쓰인다.
- 기기 안에서 도는 모델: 1B~4B 안팎. 휴대폰이나 PC의 NPU에서 온디바이스로 실행.
- 서버 한 대로 충분한 모델: 7B~30B 안팎. 단일 GPU에서 돌리며 특정 업무에 미세 조정.
기준이 시점마다 바뀐다는 점도 유의해야 한다. 2020년의 GPT-3(175B)과 비교하면 지금의 70B 모델도 작지만, 보통은 소형 모델로 부르지 않는다.
| 계열 | 개발사 | 소형 크기 | 비고 |
|---|---|---|---|
| Phi | 마이크로소프트 | Phi-3-mini 3.8B, Phi-4 14B | 합성 데이터와 엄선한 웹 데이터 중심 학습. Phi-3-mini는 휴대폰에서 실행되는 것을 내세웠다.[3][4] |
| 젬마 | 구글 | 1B, 4B, 12B, 27B(젬마 3), E2B·E4B(젬마 3n) | 제미나이 연구 기반 오픈 모델 |
| 라마 3.2 | 메타 | 1B, 3B | 라마 3.1 8B를 가지치기한 뒤 8B·70B에서 증류[5] |
| Qwen2.5 | 알리바바 | 0.5B, 1.5B, 3B, 7B, 14B | 3B·72B를 뺀 크기는 Apache 2.0[6] |
| Gemini Nano | 구글 | Nano-1 1.8B, Nano-2 3.25B(1.0 기준) | 큰 제미나이 모델에서 증류, 4비트 양자화해 기기에 내장[7]. 구글 제미나이 문서 참고 |
| 애플 온디바이스 모델 | 애플 | 약 30억 | 2비트·4비트 혼합 압축으로 가중치당 평균 3.7비트, 기능별 LoRA 어댑터[8] |
| 카나나 | 카카오 | 소형 모델 포함 | 국내 개발 모델 계열 |
Phi-3 보고서는 3.8B 모델이 3.3조 토큰으로 학습해 MMLU 69%를 기록, Mixtral 8x7B나 GPT-3.5와 견줄 만하다고 주장했다.[3] 작은 모델의 성능을 끌어올린 요인으로는 크기에 비해 훨씬 많은 토큰으로 학습하는 것, 데이터 품질 선별, 큰 모델에서의 증류가 꼽힌다.
- 처음부터 작게 학습: 같은 구조를 작은 크기로 학습하되, 학습 토큰을 늘리고 데이터를 엄선한다. Phi 계열이 대표적이다.[3]
- 지식 증류: 큰 교사 모델의 출력 분포를 작은 학생 모델이 따라 배우게 한다. 라마 3.2 1B·3B는 큰 모델의 로짓을 학습 목표로 썼다.[5] 추론 모델을 작은 모델로 증류한 사례로는 딥시크 R1 증류 모델이 있다.
- 가지치기: 중요도가 낮은 층이나 뉴런을 잘라 크기를 줄인 뒤 재학습한다.[1]
- 양자화: 가중치를 16비트에서 8비트, 4비트 이하로 줄여 메모리와 연산을 아낀다. 엄밀히는 매개변수 수를 줄이는 것이 아니라 표현 정밀도를 낮추는 것이어서 증류·가지치기와 함께 쓰는 경우가 많다.
- ↑ 1.0 1.1 IBM, "What are small language models?", 2024-10-31(2026-04-02 갱신).
- ↑ Microsoft, "Tiny but mighty: The Phi-3 small language models with big potential", 2024-04-23.
- ↑ 3.0 3.1 3.2 Marah Abdin 외, 〈Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone〉, 2024. arXiv:2404.14219
- ↑ Marah Abdin 외, 〈Phi-4 Technical Report〉, 2024. arXiv:2412.08905
- ↑ 5.0 5.1 Meta AI, "Llama 3.2: Revolutionizing edge AI and vision with open, customizable models", 2024-09-25.
- ↑ Qwen Team, "Qwen2.5: A Party of Foundation Models!", 2024-09-19.
- ↑ Gemini Team, 〈Gemini: A Family of Highly Capable Multimodal Models〉, 2023. arXiv:2312.11805
- ↑ 8.0 8.1 Apple Machine Learning Research, "Introducing Apple's On-Device and Server Foundation Models", 2024-06-10.