미세조정
더 많은 작업
미세조정(Fine-tuning, 파인튜닝)은 이미 대규모 데이터로 사전학습된 인공지능 모델을 특정 작업·분야·데이터에 맞게 추가 학습하여 모델의 행동이나 성능을 조정하는 기법이다.
현대의 대형 언어 모델이나 파운데이션 모델은 일반적으로 먼저 방대한 데이터로 사전학습(Pre-training)한 뒤 필요에 따라 추가적인 학습을 거친다.
이때 이미 학습된 모델의 매개변수에서 출발해 특정 목적의 데이터로 다시 학습하는 과정을 미세조정(Fine-tuning)이라고 한다.
예를 들어 범용 언어 모델에 법률 문서와 법률 질의응답 데이터를 추가로 학습시켜 법률 분야의 표현과 작업에 적응시키거나, 기업의 고객 상담 데이터로 학습해 특정 응답 형식을 따르도록 만들 수 있다.
대규모 일반 데이터
↓
사전학습
↓
파운데이션 모델
↓
특정 목적의 데이터
↓
미세조정
↓
특화된 모델
미세조정은 모델을 처음부터 새로 학습하는 것과 달리 사전학습 모델이 이미 획득한 언어·이미지·지식 등의 표현 능력을 이용한다. 따라서 일반적으로 사전학습보다 훨씬 적은 데이터와 연산 자원으로 특정 목적에 모델을 적응시킬 수 있다.
사전학습(Pre-training)과 미세조정의 가장 큰 차이는 학습의 출발점과 목적이다.
| 구분 | 사전학습 | 미세조정 |
|---|---|---|
| 출발점 | 일반적으로 초기화된 모델 | 이미 사전학습된 모델 |
| 데이터 | 매우 대규모의 범용 데이터 | 비교적 작고 목적에 특화된 데이터 |
| 목적 | 범용적인 표현·지식·능력 습득 | 특정 작업·분야·행동에 적응 |
| 계산량 | 매우 큼 | 상대적으로 작음 |
| 대표 결과 | 기반 모델(Base Model) | 특화 모델·지시 모델 |
수십억~수천억 개의 매개변수를 가진 대형 모델을 처음부터 사전학습하려면 대규모 GPU 클러스터와 막대한 데이터가 필요하지만, 이미 존재하는 모델을 미세조정하면 이러한 기반 능력을 다시 처음부터 학습할 필요가 없다.
전체 미세조정(Full Fine-tuning)은 사전학습된 모델의 매개변수 전체 또는 대부분을 학습 가능한 상태로 두고 추가 학습하는 방식이다.
예를 들어 70억 개의 매개변수를 가진 모델을 전체 미세조정하면 원칙적으로 약 70억 개의 매개변수가 학습 과정에서 변경될 수 있다.
모델 전체를 직접 변경할 수 있기 때문에 높은 적응 능력을 확보할 수 있지만 모델 규모가 커질수록 GPU 메모리와 연산량이 크게 증가한다.
학습에서는 모델의 가중치뿐 아니라 그래디언트와 옵티마이저 상태 등도 저장해야 하므로 실제 필요한 메모리는 단순히 모델을 추론하는 데 필요한 메모리보다 훨씬 커질 수 있다.
이러한 문제 때문에 대형 언어 모델에서는 모든 매개변수를 변경하지 않는 매개변수 효율적 미세조정이 널리 사용된다.[1]
매개변수 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT)은 모델 전체가 아니라 일부 매개변수 또는 추가된 소규모 매개변수만 학습하는 방식이다.
대형 모델의 모든 매개변수를 미세조정하는 것은 계산·메모리·저장 공간 측면에서 비용이 크기 때문에 이를 줄이기 위해 개발됐다.
Hugging Face의 PEFT 구현에서는 기본 모델 대부분을 고정한 채 소수의 추가 매개변수만 학습할 수 있으며, 이에 따라 전체 미세조정보다 메모리와 저장 공간을 크게 줄일 수 있다.[1]
대표적인 PEFT 방식에는 다음이 있다.
- LoRA
- AdaLoRA
- IA3
- Prefix Tuning
- Prompt Tuning
- Adapter 계열 방법
이 가운데 현대의 대형 언어 모델과 이미지 생성 모델에서 특히 널리 사용되는 방식이 LoRA이다.
LoRA(Low-Rank Adaptation)는 사전학습 모델의 기존 가중치를 고정하고, 일부 계층에 작은 저랭크(Low-rank) 행렬을 추가해 이 행렬만 학습하는 미세조정 기법이다.
Microsoft 연구진이 2021년 발표한 논문 《LoRA: Low-Rank Adaptation of Large Language Models》에서 제안했다.[2]
기존 가중치 행렬을 라고 하면 전체 행렬을 다시 학습하는 대신 다음과 같은 저랭크 행렬의 곱으로 가중치 변화량을 표현한다.
기존 가중치: W LoRA가 학습하는 변화량: ΔW = B × A 최종 계산: W' = W + ΔW
큰 행렬 전체를 변경하지 않고 훨씬 작은 두 행렬 와 만 학습하므로 학습해야 하는 매개변수 수를 크게 줄일 수 있다.[3]
원래 모델은 그대로 유지하면서 목적별로 작은 LoRA 어댑터만 별도로 보관할 수도 있다.
기본 모델
│
┌───────┼───────┐
↓ ↓ ↓
법률 LoRA 코딩 LoRA 상담 LoRA
따라서 동일한 대형 기반 모델을 여러 용도로 운영할 때 모델 전체를 여러 벌 저장하는 대신 용도별 LoRA 가중치만 교체하는 방식으로 운영할 수 있다.[3]
LoRA는 처음에는 대형 언어 모델을 대상으로 개발됐지만 이후 Stable Diffusion 등의 이미지 생성 모델에서도 널리 사용되고 있다.[3]
QLoRA(Quantized Low-Rank Adaptation)는 양자화된 기반 모델에 LoRA를 적용해 미세조정에 필요한 메모리를 더욱 줄이는 방식이다.
기반 모델 자체는 낮은 정밀도로 양자화해 메모리에 올리고, LoRA 어댑터를 이용해 필요한 부분을 학습한다.
이에 따라 전체 미세조정에 필요한 대규모 GPU 자원을 확보하기 어려운 환경에서도 비교적 큰 모델을 미세조정할 수 있다.
Hugging Face의 PEFT 구현에서도 모든 선형 계층을 대상으로 LoRA를 적용하는 QLoRA 방식의 학습 구성을 지원한다.[3]
지도 미세조정(Supervised Fine-Tuning, SFT)은 입력과 원하는 출력의 쌍으로 구성된 데이터를 이용해 모델을 추가 학습하는 방법이다.
예를 들면 다음과 같은 데이터가 사용될 수 있다.
입력: "이 계약서의 주요 위험을 세 가지로 요약해 줘." 정답: "1. 계약 해지 조건 ... 2. 손해배상 범위 ... 3. 지식재산권 ..."
수많은 입력-응답 예시를 학습하면 모델이 비슷한 입력을 받았을 때 원하는 형식과 행동을 생성하도록 조정할 수 있다.
챗봇용 모델에서는 기반 모델(Base Model)을 사용자의 지시를 따르는 Instruction Model로 만드는 과정에서도 SFT가 사용된다.
지시 미세조정(Instruction Fine-tuning 또는 Instruction Tuning)은 다양한 자연어 지시와 이에 적합한 응답을 학습시키는 방식이다.
단순히 특정 분야의 지식을 추가하는 것이 아니라 다음과 같은 사용자의 요청을 이해하고 따르는 능력을 강화한다.
- 요약하라
- 번역하라
- 분류하라
- 표로 작성하라
- 단계별로 설명하라
- 주어진 형식으로 출력하라
- 질문에 답하라
현대의 대화형 LLM은 일반적으로 사전학습된 기반 모델을 그대로 사용자에게 제공하기보다 이러한 지시 학습과 추가적인 후속 학습을 거쳐 제공된다.
특정 산업이나 전문 영역의 데이터에 모델을 적응시키는 것도 미세조정의 주요 용도이다.
예를 들어 다음과 같은 분야에 적용할 수 있다.
| 분야 | 학습 데이터 예시 |
|---|---|
| 금융 | 금융 문서, 분석 보고서, 금융 질의응답 |
| 법률 | 법령, 판례, 계약서, 법률 질의응답 |
| 의료 | 의학 문헌, 의료 질의응답 |
| 고객 상담 | 상담 기록, FAQ, 상담 응답 |
| 개발 | 소스코드, 코드 수정 및 설명 데이터 |
| 보안 | 보안 보고서, 취약점 설명, 탐지·분류 데이터 |
다만 특정 분야의 문서를 단순히 추가 학습한다고 해서 모델이 해당 문서의 모든 사실을 정확하게 기억하거나 검색할 수 있게 되는 것은 아니다.
최신 정보나 정확한 내부 문서를 근거로 답변해야 하는 용도에서는 미세조정보다 검색 증강 생성(RAG)이 적합할 수 있다.
미세조정과 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 기업용 LLM 구축에서 자주 비교되지만 목적이 다르다.
| 구분 | 미세조정 | RAG |
|---|---|---|
| 변경 대상 | 모델의 가중치 또는 어댑터 | 모델 외부의 지식 검색 과정 |
| 주요 목적 | 행동·스타일·작업 능력 변경 | 필요한 정보를 찾아 모델에 제공 |
| 정보 갱신 | 다시 학습해야 할 수 있음 | 문서·검색 인덱스 갱신 |
| 출처 제시 | 상대적으로 어려움 | 검색 문서를 출처로 활용 가능 |
| 최신 정보 | 적합하지 않을 수 있음 | 비교적 적합 |
| 특정 출력 형식 학습 | 적합 | 제한적 |
예를 들어 회사의 최신 인사규정을 질문할 수 있는 챗봇을 만든다면 규정을 모델에 미세조정으로 암기시키는 것보다 RAG를 통해 최신 규정 문서를 검색하게 하는 방식이 일반적으로 관리하기 쉽다.
반대로 회사가 원하는 문체나 답변 형식, 특정 분류 방법을 모델이 안정적으로 따르게 만들려면 미세조정이 효과적일 수 있다.
두 방법은 서로 배타적이지 않다.
기반 모델 ↓ 미세조정 ↓ 특화 모델 ↓ RAG로 최신 문서 제공 ↓ 최종 응답
실제 시스템에서는 미세조정으로 모델의 행동을 조정하면서 RAG로 최신 지식을 제공하는 방식을 함께 사용할 수 있다.
프롬프트 엔지니어링은 모델 자체를 학습하지 않고 입력되는 지시문을 설계해 원하는 결과를 얻는 방법이다.
| 방식 | 모델 가중치 변경 | 별도 학습 |
|---|---|---|
| 프롬프트 엔지니어링 | X | X |
| RAG | X | 일반적으로 X |
| LoRA 미세조정 | 일부 추가 가중치 학습 | O |
| 전체 미세조정 | O | O |
따라서 새로운 요구사항이 생겼을 때 반드시 미세조정을 먼저 수행할 필요는 없다.
단순한 출력 형식이나 지시라면 프롬프트만으로 충분할 수 있고, 최신 지식이 필요한 문제라면 RAG가 더 적합할 수 있다. 이러한 방법으로 원하는 성능을 얻기 어렵거나 모델 자체의 행동을 지속적으로 변경해야 할 때 미세조정을 고려할 수 있다.
미세조정에 대한 대표적인 오해는 새로운 정보를 모델에 넣으려면 미세조정을 해야 한다는 것이다.
미세조정을 통해 모델이 새로운 사실이나 분야의 패턴을 학습할 수는 있지만 특정 사실을 정확하게 저장하고 필요할 때 검색하는 데이터베이스와 같은 기능을 보장하지 않는다.
또한 미세조정된 지식은 다음과 같은 문제가 있다.
- 어느 학습 데이터에서 답변이 나온 것인지 추적하기 어렵다.
- 정보가 변경되면 다시 학습해야 할 수 있다.
- 학습한 사실을 항상 정확하게 재현한다고 보장할 수 없다.
- 잘못 구성된 데이터가 기존 능력에 영향을 줄 수 있다.
따라서 지식을 제공하는 것과 모델의 행동을 학습시키는 것을 구분하는 것이 중요하다.
최신 제품 가격이나 사내 규정처럼 계속 변경되는 정보는 RAG나 외부 데이터베이스가 적합하고, 특정 문체·분류 방식·응답 정책처럼 반복적인 행동을 학습시키는 데에는 미세조정이 적합할 수 있다.
미세조정의 주요 장점은 다음과 같다.
- 범용 모델을 특정 업무에 특화할 수 있다.
- 반복적으로 긴 지시문이나 많은 예시를 프롬프트에 포함할 필요를 줄일 수 있다.
- 특정 형식이나 문체를 안정적으로 생성하도록 학습할 수 있다.
- 특정 분류·추출 작업의 성능을 향상시킬 수 있다.
- 더 작은 모델을 특정 작업에 특화해 큰 범용 모델을 사용하는 것보다 비용을 줄일 수도 있다.
- LoRA 등의 PEFT를 이용하면 전체 미세조정보다 적은 자원으로 모델을 특화할 수 있다.[1]
미세조정 결과는 학습 데이터의 품질에 크게 영향을 받는다.
잘못된 답변, 서로 모순되는 지시, 중복 데이터 등이 포함되면 모델의 품질이 오히려 떨어질 수 있다.
따라서 단순히 많은 데이터를 확보하는 것보다 목적에 맞는 고품질 데이터를 구성하는 것이 중요하다.
데이터가 너무 적거나 특정 유형에 편중되면 모델이 학습 데이터에 지나치게 적응하는 과적합이 발생할 수 있다.
학습 데이터에서는 높은 성능을 보이지만 새로운 입력에서는 성능이 떨어질 수 있다.
특정 데이터에 지나치게 강하게 미세조정하면 기존 사전학습에서 획득한 능력 일부가 저하되는 파국적 망각(Catastrophic Forgetting)이 발생할 수 있다.
따라서 학습률, 데이터 구성, 학습 횟수 등을 적절하게 조정하고 미세조정 전후의 범용 성능도 함께 평가할 필요가 있다.
사전학습보다 저렴하더라도 대형 모델의 전체 미세조정에는 상당한 GPU 메모리와 연산 자원이 필요하다.
모델 규모가 커지면서 이러한 문제를 해결하기 위해 LoRA와 같은 PEFT가 널리 사용되고 있다.[2]
기존 파운데이션 모델을 미세조정해 만든 모델은 일반적으로 원본 모델에 기반한 파생 모델로 볼 수 있다.
미세조정을 많이 수행했다고 해서 기반 모델을 처음부터 독자적으로 개발한 것이 되는 것은 아니다.
이 구분은 독자 AI 파운데이션 모델 프로젝트에서도 중요하게 다뤄졌다.
과학기술정보통신부는 해당 프로젝트에서 해외 AI 모델의 미세조정 등을 통해 개발된 파생 모델과 모델 설계·데이터 구축·사전학습 등 핵심 개발 과정을 직접 수행한 독자 파운데이션 모델을 구분하고 있다.[4]
따라서 예를 들어 해외에서 개발된 대형 언어 모델을 가져와 한국어 데이터로 대규모 미세조정을 수행하더라도 기반 모델 자체가 해당 모델로부터 출발했다면 이를 완전히 새롭게 사전학습한 독자 파운데이션 모델과 동일하게 볼 수는 없다.
- ↑ 1.0 1.1 1.2 Hugging Face, 「PEFT」, https://huggingface.co/docs/peft/index, 확인일: 2026-10-04.
- ↑ 2.0 2.1 Edward J. Hu et al., 「LoRA: Low-Rank Adaptation of Large Language Models」, https://arxiv.org/abs/2106.09685, 확인일: 2026-10-04.
- ↑ 3.0 3.1 3.2 3.3 Hugging Face, 「LoRA」, https://huggingface.co/docs/peft/en/package_reference/lora, 확인일: 2026-10-04.
- ↑ 과학기술정보통신부, 「독자 AI 파운데이션 모델 프로젝트 관련 공모안내서 명기사항 안내」, https://www.msit.go.kr/bbs/view.do?bbsSeqNo=100&mId=311&mPid=121&nttSeqNo=3179595, 확인일: 2026-10-04.