파운데이션 모델
더 많은 작업
파운데이션 모델(Foundation Model)은 대규모 데이터로 사전학습한 뒤 다양한 작업과 응용 서비스의 기반으로 재사용할 수 있도록 개발된 범용 인공지능 모델로, 대형 언어 모델뿐 아니라 이미지·음성·영상·로봇 등을 처리하는 모델까지 포괄하는 개념이다.
파운데이션 모델이라는 용어는 2021년 스탠퍼드 대학교의 Stanford Institute for Human-Centered Artificial Intelligence(HAI) 산하 Center for Research on Foundation Models(CRFM) 연구진이 보고서 《On the Opportunities and Risks of Foundation Models》에서 체계적으로 제시하면서 널리 사용되기 시작했다.[1]
연구진은 파운데이션 모델을 광범위한 데이터에 대규모로 학습되고 다양한 하위 작업에 적용될 수 있는 모델로 정의했다.[1]
기존 머신러닝에서는 번역, 이미지 분류, 음성 인식과 같은 특정 작업별로 별도의 모델을 학습하는 방식이 일반적이었다. 반면 파운데이션 모델은 대규모 데이터에서 일반적인 패턴과 표현을 먼저 학습한 뒤 하나의 모델을 다양한 작업의 기반으로 사용한다.
예를 들어 대규모 텍스트를 학습한 하나의 모델을 질의응답, 번역, 요약, 문서 분석, 코딩 등에 활용하거나 이미지와 텍스트를 함께 학습한 모델을 이미지 설명, 문서 이해, 시각 질의응답 등에 사용할 수 있다.
파운데이션 모델 자체가 반드시 완성된 사용자용 서비스인 것은 아니다. 모델을 미세조정, 프롬프트, 검색 증강 생성(RAG), 외부 도구, 데이터베이스 등과 결합해 실제 AI 서비스를 구축하는 기반이 된다는 의미에서 Foundation이라는 명칭이 사용된다.
파운데이션 모델은 일반적으로 대규모 데이터를 이용한 사전학습(Pre-training)을 통해 만들어진다.
대형 언어 모델의 경우 웹 문서, 책, 논문, 소스코드 등의 데이터에서 다음 토큰을 예측하는 등의 자기지도학습(Self-supervised Learning)을 수행한다.
이 과정에서 특정 질문의 정답을 하나씩 사람이 입력하지 않더라도 언어 구조, 사실 관계, 문맥, 프로그래밍 코드 및 다양한 패턴을 학습할 수 있다.
현대의 대규모 파운데이션 모델은 사전학습 이후에도 지시 학습(Instruction Tuning), 선호도 학습, 강화학습 등의 후속 학습(Post-training)을 거치는 경우가 일반적이다.
사전학습된 파운데이션 모델은 목적에 따라 다양한 방식으로 응용할 수 있다.
| 방식 | 설명 |
|---|---|
| 프롬프트 | 모델 가중치를 변경하지 않고 지시문이나 예시를 입력해 원하는 작업 수행 |
| 미세조정 | 특정 데이터로 모델을 추가 학습 |
| Instruction Tuning | 지시와 응답 형태의 데이터로 지시 수행 능력을 학습 |
| PEFT | 일부 매개변수만 학습해 적은 자원으로 모델을 특화 |
| LoRA | 저차원 행렬을 추가해 효율적으로 모델을 미세조정 |
| RAG | 외부 문서나 데이터베이스를 검색해 모델의 입력에 제공 |
| 도구 호출 | 검색엔진, 계산기, API, 프로그램 등을 모델이 사용하도록 연결 |
따라서 파운데이션 모델 개발에는 막대한 자원이 필요하지만 완성된 모델을 기반으로 특정 업무용 AI를 만드는 비용은 상대적으로 줄일 수 있다.
파운데이션 모델과 대형 언어 모델(Large Language Model, LLM)은 서로 관련성이 높지만 같은 의미는 아니다.
| 구분 | 파운데이션 모델 | 대형 언어 모델 |
|---|---|---|
| 기준 | 모델의 학습·활용 방식과 역할 | 언어를 처리하는 대규모 모델 |
| 주요 데이터 | 텍스트·이미지·음성·영상·센서 데이터 등 | 주로 텍스트와 코드 |
| 주요 목적 | 다양한 후속 모델·서비스의 기반 | 자연어 이해·생성 |
| 범위 | 더 넓은 개념 | 파운데이션 모델의 주요 유형 |
GPT, Llama, HyperCLOVA, EXAONE과 같은 범용 LLM은 일반적으로 파운데이션 모델에 해당한다.
그러나 파운데이션 모델이 반드시 언어 모델일 필요는 없다.
예를 들어 대규모 이미지 데이터로 학습한 비전 모델, 음성 파운데이션 모델, 단백질 서열을 학습한 생명과학 모델, 로봇의 행동을 학습한 모델 등도 파운데이션 모델이 될 수 있다.[2]
따라서 관계를 단순화하면 다음과 같다.
파운데이션 모델 ├─ 언어 파운데이션 모델 │ └─ 대형 언어 모델(LLM) ├─ 비전 파운데이션 모델 ├─ 음성 파운데이션 모델 ├─ 멀티모달 파운데이션 모델 ├─ 과학·생명과학 파운데이션 모델 └─ 로봇·행동 파운데이션 모델
최근에는 텍스트만 처리하는 모델에서 여러 종류의 데이터를 동시에 처리하는 멀티모달 파운데이션 모델로 발전하고 있다.
멀티모달 모델은 다음과 같은 입력 또는 출력을 조합할 수 있다.
- 텍스트
- 이미지
- 음성
- 영상
- 문서
- 센서 데이터
예를 들어 이미지와 질문을 함께 입력해 사진의 내용을 분석하거나, 문서 이미지를 읽고 내용을 요약하거나, 음성으로 대화하면서 화면을 분석하는 등의 작업이 가능하다.
Google DeepMind는 Gemini를 텍스트·코드·이미지·오디오·비디오 등 여러 유형의 정보를 처리할 수 있도록 처음부터 멀티모달로 설계한 모델로 설명하고 있다.[3]
생성형 인공지능과 파운데이션 모델도 동일한 개념은 아니다.
생성형 AI는 텍스트, 이미지, 음성, 영상 등의 새로운 콘텐츠를 생성하는 AI의 기능적 분류이고, 파운데이션 모델은 대규모 사전학습 모델을 여러 작업의 기반으로 활용한다는 개발·활용 방식에 가까운 개념이다.
현대의 주요 생성형 AI 서비스 상당수가 파운데이션 모델을 기반으로 하기 때문에 두 용어가 함께 사용되는 경우가 많다.
예를 들어 챗봇 서비스를 다음과 같이 구성할 수 있다.
대규모 데이터
↓
사전학습
↓
파운데이션 모델
↓
후속 학습 · RAG · 도구 · 안전장치
↓
생성형 AI 서비스
따라서 사용자가 직접 이용하는 챗봇이나 AI 서비스와 그 아래에서 동작하는 파운데이션 모델을 구분할 필요가 있다.
파운데이션 모델의 일반적인 개발 과정은 다음과 같다.
웹 문서, 서적, 논문, 코드, 이미지, 음성 등 대규모 데이터를 수집하고 정제한다.
중복 제거, 개인정보 제거, 품질 필터링, 유해 데이터 처리, 언어별 데이터 구성 등이 모델의 성능에 큰 영향을 미친다.
대규모 GPU·AI 가속기 클러스터를 이용해 모델을 학습한다.
대규모 모델은 수천~수만 개의 가속기를 장기간 사용할 수 있기 때문에 모델 자체의 설계뿐 아니라 분산학습, 통신, 스토리지 및 장애 복구 기술도 중요하다.
사전학습 모델은 사용자의 지시를 반드시 적절하게 따르는 것은 아니다.
따라서 지시 데이터와 선호도 데이터 등을 이용해 모델이 사람의 요청에 유용하게 응답하도록 조정한다.
대표적인 방법에는 다음이 있다.
- Supervised Fine-Tuning(SFT)
- Reinforcement Learning from Human Feedback(RLHF)
- Direct Preference Optimization(DPO)
- Reinforcement Learning with Verifiable Rewards(RLVR)
완성된 모델은 API 또는 모델 가중치 형태로 제공된다.
기업은 이를 이용해 챗봇, 문서 검색, 고객 상담, 코딩, 연구, 업무 자동화 등의 AI 서비스를 구축한다.
파운데이션 모델은 공개 방식에 따라 크게 폐쇄형 모델과 오픈 웨이트 모델로 나눌 수 있다.
폐쇄형 모델은 일반적으로 모델의 가중치를 공개하지 않고 API나 자체 서비스 형태로 제공한다.
반면 오픈 웨이트 모델은 학습된 모델의 가중치를 공개하여 사용자가 직접 내려받아 실행할 수 있다.
다만 오픈 웨이트가 곧 오픈 소스를 의미하는 것은 아니다.
모델 가중치만 공개하고 학습 데이터나 전체 학습 코드를 공개하지 않을 수 있으며, 라이선스에 상업적 사용이나 재배포 제한이 존재할 수도 있다. Open Source Initiative는 이러한 문제를 구분하기 위해 Open Source AI Definition에서 AI 시스템의 수정에 필요한 정보와 구성요소에 관한 별도의 기준을 제시하고 있다.[4]
파운데이션 모델은 AI 에이전트의 핵심 구성요소로도 사용된다.
일반적인 생성형 AI에서는 사용자의 입력에 모델이 답변을 생성하는 것으로 작업이 끝날 수 있지만, AI 에이전트에서는 모델이 목표를 분석하고 필요한 도구를 선택하며 실행 결과를 다시 판단하는 과정을 반복한다.
사용자 목표
↓
파운데이션 모델
↓
행동 결정
↓
검색 · API · 코드 · 데이터베이스 · 외부 프로그램
↓
실행 결과
↓
파운데이션 모델
↓
다음 행동 결정
따라서 에이전트용 파운데이션 모델에서는 단순한 자연어 생성 능력뿐 아니라 추론, 장문 처리, 도구 호출, 코딩 및 여러 단계의 작업 수행 능력이 중요하다.
범용 모델뿐 아니라 특정 산업이나 데이터 유형에 특화된 파운데이션 모델도 개발되고 있다.
의료에서는 의학 문헌·의료 데이터 등을 학습한 모델을 진료 지원과 연구에 활용할 수 있으며, 금융에서는 금융 문서와 시장 데이터를 이용한 분석 모델을 개발할 수 있다.
생명과학에서는 자연어의 단어 대신 단백질이나 DNA 등의 생물학적 서열을 학습하는 파운데이션 모델이 연구되고 있다.
로봇에서는 시각·언어·행동 데이터를 함께 학습해 사용자의 자연어 지시와 주변 환경을 이해하고 로봇의 행동으로 연결하는 Vision-Language-Action(VLA) 계열 모델이 발전하고 있다.
이에 따라 파운데이션 모델이라는 용어의 범위는 초기의 대규모 언어 모델 중심에서 다양한 데이터와 물리적 행동을 다루는 범용 AI 모델로 확대되고 있다.
파운데이션 모델의 가장 큰 장점은 하나의 대규모 모델을 여러 분야에서 재사용할 수 있다는 점이다.
- 새로운 작업마다 모델을 처음부터 학습할 필요가 줄어든다.
- 소량의 데이터나 프롬프트만으로 새로운 작업에 적용할 수 있다.
- 대규모 사전학습에서 습득한 지식을 여러 서비스에서 활용할 수 있다.
- 하나의 모델로 다양한 자연어·비전·코딩 작업을 처리할 수 있다.
- AI 개발의 기반 플랫폼으로 활용할 수 있다.
이러한 특성 때문에 파운데이션 모델은 개별 AI 서비스보다 상위에 위치하는 일종의 범용 기술 인프라 역할을 할 수 있다.
최첨단 파운데이션 모델을 처음부터 학습하려면 막대한 컴퓨팅 자원과 데이터, 전력 및 전문인력이 필요하다.
이에 따라 대규모 모델을 직접 개발할 수 있는 기업과 국가가 제한되고 AI 기술이 소수 기업에 집중될 수 있다는 문제가 제기된다.[1]
언어 기반 파운데이션 모델은 사실과 다른 정보를 그럴듯하게 생성하는 인공지능 환각 현상을 일으킬 수 있다.
모델 규모가 커지고 성능이 향상되더라도 환각이 완전히 제거되는 것은 아니기 때문에 중요한 의사결정에서는 외부 데이터 검증과 사람의 검토가 필요하다.
대규모 데이터에서 학습하기 때문에 학습 데이터에 포함된 사회적 편향과 오류가 모델에 반영될 수 있다.
하나의 파운데이션 모델이 수많은 후속 서비스의 기반으로 사용될 경우 기반 모델의 문제가 여러 응용 서비스로 동시에 전파될 수도 있다. 스탠퍼드 연구진은 이러한 현상을 파운데이션 모델의 중요한 구조적 위험 가운데 하나로 지적했다.[1]
웹에서 수집한 대규모 데이터에는 저작권이 있는 자료나 개인정보가 포함될 가능성이 있다.
이에 따라 학습 데이터의 적법성, 저작물의 이용 범위, 모델이 학습 데이터를 기억하거나 재현할 가능성 등이 법적·사회적 쟁점이 되고 있다.
파운데이션 모델이 경제·산업·안보에 미치는 영향이 커지면서 각국은 자체적인 AI 모델과 컴퓨팅 인프라를 확보하려는 정책을 추진하고 있다.
이러한 움직임은 흔히 소버린 AI(Sovereign AI)라는 개념과 연결된다.
대한민국 정부도 2025년부터 독자 AI 파운데이션 모델 프로젝트를 추진하고 있다.
이 사업은 해외에서 개발된 기존 모델을 단순히 미세조정하는 것이 아니라 국내 기업이 모델 설계와 데이터 구축·사전학습 등의 핵심 개발 과정을 수행하는 파운데이션 모델을 확보하는 것을 목표로 한다.
2026년 10월 기준 SK텔레콤의 A.X K2, 업스테이지의 Solar Open 2, LG AI연구원의 K-EXAONE 2.0 계열이 프로젝트의 다음 단계에 진출해 있다.
- ↑ 1.0 1.1 1.2 1.3 Stanford Institute for Human-Centered Artificial Intelligence, 「On the Opportunities and Risks of Foundation Models」, https://arxiv.org/abs/2108.07258, 확인일: 2026-10-04.
- ↑ IBM, 「What are foundation models?」, https://www.ibm.com/think/topics/foundation-models, 확인일: 2026-10-04.
- ↑ Google DeepMind, 「Gemini: A Family of Highly Capable Multimodal Models」, https://arxiv.org/abs/2312.11805, 확인일: 2026-10-04.
- ↑ Open Source Initiative, 「The Open Source AI Definition – 1.0」, https://opensource.org/ai/open-source-ai-definition, 확인일: 2026-10-04.