메타 라마
더 많은 작업
- Meta Llama; 메타 라마
- 메타가 2023년부터 가중치를 내려받을 수 있게 공개해 온 대형 언어 모델 계열
라마(Llama, 처음 이름은 LLaMA: Large Language Model Meta AI)는 메타(옛 페이스북)가 개발한 대형 언어 모델 계열이다. 2023년 2월 연구자용으로 처음 공개된 뒤 라마 2부터 상업적 이용을 허용하는 라이선스로 가중치를 배포해, 누구나 내려받아 직접 실행하고 미세 조정할 수 있는 오픈 웨이트 모델의 대표 사례가 됐다. 라마 가중치를 바탕으로 수많은 파생 모델과 로컬 실행 도구(Llama.cpp, Ollama 등)가 만들어졌다.
메타는 라마를 "오픈 소스"라고 불러 왔지만, 사용자 수 제한과 이용 정책이 붙은 자체 라이선스여서 오픈 소스 정의에 맞지 않는다는 비판을 받았다. 2025년 4월 전문가 혼합(MoE) 구조의 라마 4를 낸 뒤, 2026년 4월에는 새로 만든 메타 초지능 연구소(Meta Superintelligence Labs)가 가중치를 공개하지 않은 새 모델 계열 뮤즈(Muse)를 내놓았다.
메타는 2023년 2월 24일 70억(7B), 130억(13B), 330억(33B), 650억(65B) 매개변수의 LLaMA를 공개했다. 65B와 33B는 1조 4천억 토큰, 7B는 1조 토큰으로 학습했고, 라틴 문자와 키릴 문자를 쓰는 20개 언어의 텍스트를 넣었다. 비상업적 연구용 라이선스로 배포했고, 학계·정부·시민단체·산업 연구소 연구자에게 신청을 받아 개별적으로 가중치를 내줬다.[1] 논문은 공개 데이터만으로 학습했으며, LLaMA-13B가 대부분의 벤치마크에서 GPT-3(175B)을 앞서고 LLaMA-65B가 Chinchilla-70B, PaLM-540B와 견줄 만하다고 보고했다.[2] 논문은 같은 성능이라면 추론 비용이 싼 작은 모델을 더 많은 토큰으로 오래 학습시키는 쪽이 낫다는 관점을 내세웠다.
공개 약 1주일 뒤 가중치 파일이 신청 절차를 거치지 않고 인터넷 게시판과 토렌트로 퍼진 것으로 알려져 있다. 곧이어 개인용 컴퓨터에서 라마를 돌리는 Llama.cpp가 나왔고, 스탠퍼드 대학교는 2023년 3월 13일 LLaMA 7B를 지시 따르기 데이터 5만 2천 건으로 미세 조정한 알파카(Alpaca)를 발표했다.[3]
2023년 7월 18일 공개된 라마 2는 연구와 상업적 이용 모두 무료로 허용했다. 마이크로소프트를 우선 협력사로 삼아 Azure에서 제공했고, AWS와 허깅 페이스에서도 쓸 수 있게 했다.[4] 7B, 13B, 70B 크기의 사전 학습 모델과 대화용으로 미세 조정한 라마 2-Chat을 함께 냈다. 사전 학습 데이터는 2조 토큰, 컨텍스트 길이는 4,096 토큰으로 늘었고, 70B에는 KV 캐시를 줄이는 그룹 쿼리 어텐션(GQA)을 썼다. 대화 모델은 지도 미세 조정 뒤 인간 피드백 기반 강화 학습(RLHF)으로 다듬었다.[5]
- 라마 3 (2024년 4월 18일): 8B와 70B. 15조 토큰 이상으로 학습했고, 어휘 12만 8천 개의 새 토크나이저와 두 크기 모두에 GQA를 적용했다. 학습 시퀀스 길이는 8,192 토큰이었다. 메타의 AI 비서 Meta AI도 라마 3로 만들었다.[6]
- 라마 3.1 (2024년 7월 23일): 4,050억 매개변수(405B) 밀집(dense) 모델을 추가했다. 405B는 H100 GPU 1만 6천 개 이상으로 15조 토큰 넘게 학습했고, 컨텍스트는 12만 8천 토큰, 지원 언어는 8개다. 라이선스를 바꿔 라마의 출력으로 다른 모델을 개선하는 것(합성 데이터, 증류)을 허용했다. 마크 저커버그는 같은 날 "오픈 소스 AI가 나아갈 길"이라는 글을 냈다.[7] 기술 보고서는 405B가 여러 작업에서 GPT-4와 비슷한 품질을 낸다고 평가했다.[8]
- 라마 3.2 (2024년 9월 25일): 라마 처음으로 이미지를 이해하는 11B, 90B 비전 모델과, 기기 안에서 돌리는 1B, 3B 텍스트 모델을 냈다. 1B와 3B는 라마 3.1 8B를 구조적으로 가지치기한 뒤 8B와 70B의 출력(logit)을 목표로 삼아 증류해 만들었고, 컨텍스트는 12만 8천 토큰이다. 출시 당일부터 퀄컴과 미디어텍 칩에서 돌아가도록 맞췄다.[9] 자세한 내용은 소형 언어 모델 문서 참고.
- 라마 3.3 (2024년 12월 6일): 70B 지시 조정 모델 하나만 냈다. 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 8개 언어를 공식 지원하며, 사전 학습 데이터는 2023년 12월까지다.[10]
2025년 4월 5일 메타는 라마 처음으로 전문가 혼합 구조와 네이티브 멀티모달을 도입한 라마 4를 공개했다. 텍스트와 이미지 토큰을 처음부터 한 모델 줄기에 섞어 넣는 초기 융합(early fusion) 방식을 썼고, 학습 데이터는 30조 토큰 이상으로 라마 3의 두 배가 넘는다.[11]
| 모델 | 활성 매개변수 | 전문가 수 | 전체 매개변수 | 비고 |
|---|---|---|---|---|
| Scout | 170억 | 16 | 1,090억 | 컨텍스트 1천만 토큰, Int4 양자화 시 H100 한 장에 올라감 |
| Maverick | 170억 | 128(+공유 전문가 1) | 4,000억 | H100 서버 한 대에서 실행 |
| Behemoth | 2,880억 | 16 | 약 2조 | 발표 당시 학습 중, Scout와 Maverick의 교사 모델, 미공개 |
Behemoth 사전 학습에는 FP8 정밀도와 GPU 3만 2천 개를 썼다고 밝혔다.[11] 발표문은 Maverick의 LMArena 점수 1417을 내세웠는데, 같은 글에서 이 점수가 "실험용 대화 버전"으로 얻은 것이라고 밝혀 두었다.[11] 공개된 모델과 순위표에 오른 모델이 다르다는 점이 알려지면서 벤치마크 홍보 방식에 대한 비판이 나온 것으로 알려져 있다.
메타 초지능 연구소는 2026년 4월 8일 첫 모델 뮤즈 스파크(Muse Spark)를 공개했다. 메타는 이 모델이 이전 모델인 라마 4 Maverick과 같은 성능을 10분의 1이 안 되는 연산으로 낸다고 설명했다. 뮤즈 스파크는 meta.ai와 Meta AI 앱, 일부 사용자 대상 비공개 API로만 제공됐고, 발표문에는 가중치 공개에 관한 언급이 없다.[12]
| 세대 | 공개일 | 크기 | 컨텍스트 | 학습 토큰 | 라이선스 |
|---|---|---|---|---|---|
| LLaMA | 2023-02-24 | 7B, 13B, 33B, 65B | 2,048 | 1조~1.4조 | 비상업 연구용 |
| 라마 2 | 2023-07-18 | 7B, 13B, 70B | 4,096 | 2조 | Llama 2 Community License |
| 라마 3 | 2024-04-18 | 8B, 70B | 8,192 | 15조 이상 | Meta Llama 3 Community License |
| 라마 3.1 | 2024-07-23 | 8B, 70B, 405B | 12만 8천 | 15조 이상 | Llama 3.1 Community License |
| 라마 3.2 | 2024-09-25 | 1B, 3B, 11B(비전), 90B(비전) | 12만 8천 | - | Llama 3.2 Community License |
| 라마 3.3 | 2024-12-06 | 70B | 12만 8천 | 약 15조 | Llama 3.3 Community License |
| 라마 4 | 2025-04-05 | Scout, Maverick (MoE) | Scout 1천만 | 30조 이상 | Llama 4 Community License |
라마는 트랜스포머의 디코더만 쌓은 자기회귀 언어 모델이다. LLaMA 1은 당시 다른 모델에서 효과가 확인된 기법을 모아, 층 정규화를 각 블록 입력에 두는 사전 정규화(RMSNorm), SwiGLU 활성화 함수, 회전 위치 임베딩(RoPE)을 썼다.[2] 라마 2의 70B부터는 여러 쿼리 헤드가 키·값 헤드를 나눠 쓰는 그룹 쿼리 어텐션으로 추론 메모리를 줄였고, 라마 3는 이를 모든 크기에 적용했다.[5][6] 라마 3.1까지는 모든 매개변수를 매번 쓰는 밀집 모델이었고, 라마 4에서 토큰마다 일부 전문가만 쓰는 MoE로 바뀌었다.[11]
라마 2부터의 커뮤니티 라이선스는 가중치를 무료로 쓰고 수정·재배포하도록 허용하지만, 두 가지 큰 제한이 있다. 첫째, 라이선스 시점 직전 달의 월간 활성 사용자가 7억 명을 넘는 서비스는 메타에 별도 라이선스를 받아야 한다.[10] 둘째, 이용 허용 정책(acceptable use policy)이 특정 분야와 용도를 금지한다.
오픈 소스 이니셔티브(OSI)는 2023년 7월 20일 라마 2 라이선스가 특정 사용자의 상업적 이용을 제한하고 이용 분야를 제한해 오픈 소스 정의를 충족하지 않는다고 밝히고, 메타가 "오픈 소스"와 "일부 사용자에게 일부 조건으로 제공되는 자원"을 혼동하고 있다고 비판했다.[13] 학습 데이터와 학습 코드를 공개하지 않는다는 점도 오픈 소스라 부르기 어려운 이유로 꼽힌다. 이 때문에 가중치만 공개한 모델을 오픈 소스와 구별해 "오픈 웨이트" 모델이라고 부르는 용법이 자리 잡았다. 자세한 내용은 오픈 웨이트 모델과 오픈 소스 라이선스 문서 참고.
라마는 가중치가 공개된 고성능 모델로서 오픈 모델 생태계의 출발점 구실을 했다.
- 로컬 실행: Llama.cpp는 라마를 CPU와 일반 PC에서 돌리려는 목적으로 시작됐고, 이후 GGUF 형식과 다양한 양자화 방식을 갖춘 범용 추론 엔진이 됐다. Ollama는 이를 바탕으로 모델 내려받기와 실행을 단순화했다.
- 미세 조정: 가중치가 공개돼 있어 LoRA 같은 매개변수 효율적 미세 조정으로 특정 언어나 업무에 맞춘 파생 모델을 만들 수 있다. 알파카가 그 초기 사례다.[3]
- 증류 대상: 다른 회사의 모델을 작게 증류할 때 학생 모델로도 쓰인다. 예를 들어 딥시크는 R1의 추론 능력을 라마 3.1 8B와 라마 3.3 70B에 증류한 모델을 공개했다.[14]
- 배포 채널: 메타 공식 사이트 외에 허깅 페이스, 주요 클라우드(Azure, AWS 등)의 모델 카탈로그로 배포된다.[4]
- ↑ Meta AI, "Introducing LLaMA: A foundational, 65-billion-parameter large language model", 2023-02-24.
- ↑ 2.0 2.1 2.2 Hugo Touvron 외, 〈LLaMA: Open and Efficient Foundation Language Models〉, 2023. arXiv:2302.13971
- ↑ 3.0 3.1 Stanford CRFM, "Alpaca: A Strong, Replicable Instruction-Following Model", 2023-03-13.
- ↑ 4.0 4.1 Meta, "Meta and Microsoft Introduce the Next Generation of Llama", 2023-07-18.
- ↑ 5.0 5.1 5.2 Hugo Touvron 외, 〈Llama 2: Open Foundation and Fine-Tuned Chat Models〉, 2023. arXiv:2307.09288
- ↑ 6.0 6.1 Meta AI, "Introducing Meta Llama 3: The most capable openly available LLM to date", 2024-04-18.
- ↑ Meta AI, "Introducing Llama 3.1: Our most capable models to date", 2024-07-23.
- ↑ Llama Team, 〈The Llama 3 Herd of Models〉, 2024. arXiv:2407.21783
- ↑ Meta AI, "Llama 3.2: Revolutionizing edge AI and vision with open, customizable models", 2024-09-25.
- ↑ 10.0 10.1 Meta, "Llama-3.3-70B-Instruct" 모델 카드, 2026-10-15 확인.
- ↑ 11.0 11.1 11.2 11.3 Meta AI, "The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation", 2025-04-05.
- ↑ Meta AI, "Introducing Muse Spark", 2026-04-08.
- ↑ Open Source Initiative, "Meta's LLaMa 2 license is not Open Source", 2023-07-20.
- ↑ DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948