인간 피드백 기반 강화 학습

Reinforcement Learning from Human Feedback, RLHF; 인간 피드백 기반 강화 학습
사람의 선호 판단으로 보상 모델을 학습하고, 그 보상을 최대화하도록 모델을 강화 학습으로 미세조정하는 기법

인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback, RLHF)은 보상 함수를 직접 쓰기 어려운 과제에서 사람의 판단을 학습 신호로 바꾸는 방법이다. 사람이 모델 출력 두 개 가운데 더 나은 쪽을 고르면, 그 선호를 예측하는 보상 모델(reward model)을 학습하고, 원래 모델이 보상 모델의 점수를 높이도록 강화 학습으로 미세조정한다.

"좋은 답변", "도움이 되는 설명"처럼 수식으로 정의하기 어려운 목표를 사람이 비교로는 쉽게 판단할 수 있다는 점을 이용한다. 2022년 InstructGPT와 ChatGPT에 쓰이면서 대화형 대형 언어 모델의 표준 사후 학습 공정이 되었고, 인공지능 정렬을 실무에서 구현하는 대표 기법으로 꼽힌다. 다만 학습이 복잡하고 비용이 크며 보상 모델의 허점을 파고드는 보상 해킹 문제가 있어, AI 피드백이나 직접 선호 최적화(DPO) 같은 대안이 활발히 나왔다.

역사

연도	연구	의의
2017	Christiano 외, 〈Deep reinforcement learning from human preferences〉^[1]	아타리 게임과 모의 로봇 보행을 보상 함수 없이 사람의 궤적 쌍 비교만으로 학습. 사람 피드백은 에이전트 상호작용의 1% 미만이었고, 새로운 동작을 약 1시간의 사람 시간으로 가르칠 수 있었다
2019	Ziegler 외, 언어 모델 미세조정에 적용^[2]	사전 학습 언어 모델에 같은 방법을 적용해 문체 이어 쓰기와 요약을 학습
2020	Stiennon 외, 요약 학습^[3]	보상 모델, KL 벌점, PPO로 이루어진 이후 표준 구성을 정립
2022.3	InstructGPT^[4]	SFT, 보상 모델, PPO의 3단계로 일반 지시 따르기를 학습
2022.4	앤트로픽 HH-RLHF^[5]	도움됨과 무해함 선호 데이터를 함께 학습, 데이터셋 공개
2022.11	ChatGPT 공개^[6]	InstructGPT와 같은 방법에 대화형 데이터 수집을 더해 학습
2022.12	헌법 AI^[7]	무해함 판단을 AI 피드백으로 대체(RLAIF)
2023.5	DPO^[8]	보상 모델과 강화 학습 없이 선호 데이터로 직접 학습
2023.7	라마 2-챗^[9]	공개 모델에 RLHF를 적용하고 과정을 상세히 공개
2024~2025	GRPO, 검증 가능한 보상 기반 강화 학습^[10]^[11]	수학·코드처럼 정답 확인이 가능한 과제에서 사람 선호 대신 규칙 기반 보상 사용, 추론 모델 학습으로 확산

학습 과정

InstructGPT 논문에서 정리된 3단계 구성이 가장 널리 알려져 있다.^[4]

단계	입력 데이터	학습 대상	InstructGPT의 규모
1. 지도 미세조정(SFT)	프롬프트와 사람이 쓴 모범 답안	사전 학습 모델을 지시 따르기 모델로	학습 프롬프트 약 1만 3천 개
2. 보상 모델 학습	한 프롬프트에 대한 여러 출력과 사람의 순위	프롬프트와 응답을 받아 스칼라 점수를 내는 모델	학습 프롬프트 3만 3천 개, 보상 모델 60억 매개변수
3. 강화 학습(PPO)	사람 라벨 없는 프롬프트	SFT 모델을 보상 최대화 방향으로	학습 프롬프트 3만 1천 개

1단계: 지도 미세조정

사전 학습만 한 모델은 지시를 따르기보다 문서를 이어 쓰는 경향이 있으므로, 먼저 사람이 직접 쓴 모범 답안으로 지도 미세조정을 한다. 이 모델이 이후 단계의 출발점이자 비교 기준(참조 정책)이 된다. InstructGPT에서는 약 40명의 계약직 평가자가 시연과 비교 데이터를 만들었다.^[4]

2단계: 보상 모델 학습

같은 프롬프트에 대해 모델이 만든 여러 응답을 평가자가 순위로 매긴다. InstructGPT는 한 번에 4~9개 응답을 순위로 받아, 응답 K개에서 나오는 $(\binom{K}{2})$ 개의 쌍 비교를 한 묶음으로 학습했다.^[4] 보상 모델은 보통 SFT 모델의 마지막 출력층을 스칼라 출력으로 바꾼 구조다.

쌍 비교는 브래들리-테리(Bradley-Terry) 모형으로 모델링한다. 프롬프트 $x$ 에 대해 선호된 응답 $y_{w}$ 가 덜 선호된 응답 $y_{l}$ 보다 선택될 확률을 보상 차이의 시그모이드로 두고, 그 음의 로그 가능도를 손실로 쓴다.

$ℒ_{R M} (θ) = - 𝔼_{(x, y_{w}, y_{l}) \sim D} [\log σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$

여기서 $r_{θ}$ 는 보상 모델, $σ$ 는 시그모이드 함수다. 결국 이진 교차 엔트로피 손실이며, 보상의 차이가 "사람이 이쪽을 고를 로그 오즈"가 되도록 학습된다.

3단계: 강화 학습

언어 모델을 정책 $π_{ϕ}$ 로 보고, 프롬프트를 받아 응답 하나를 생성하면 보상 모델이 점수를 주고 에피소드가 끝나는 밴딧 환경으로 둔다. 보상만 최대화하면 모델이 보상 모델의 허점을 파고들어 이상한 문장을 만들기 때문에, SFT 모델(참조 정책 $π_{r e f}$ )에서 너무 멀어지지 않도록 쿨백-라이블러 발산(KL) 벌점을 건다. 기본 목적 함수는 다음과 같다.

$\max_{π_{ϕ}} 𝔼_{x \sim D, y \sim π_{ϕ} (\cdot | x)} [r_{θ} (x, y)] - β 𝔻_{K L} [π_{ϕ} (y | x) ‖ π_{r e f} (y | x)]$

$β$ 는 보상과 참조 정책 유지 사이의 균형을 정한다. InstructGPT는 여기에 사전 학습 데이터의 로그 가능도 항 $γ 𝔼_{x \sim D_{p r e t r a i n}} [\log π_{ϕ} (x)]$ 를 더한 변형(PPO-ptx)을 써서 공개 벤치마크 성능 저하를 줄였다.^[4]

최적화 알고리즘으로는 근접 정책 최적화(Proximal Policy Optimization, PPO)가 표준이 되었다.^[12] PPO는 새 정책과 이전 정책의 확률 비 $ρ_{t}$ 를 일정 범위로 잘라 한 번의 갱신이 너무 커지지 않게 한다.

$ℒ^{C L I P} = 𝔼_{t} [\min (ρ_{t} {\hat{A}}_{t}, clip (ρ_{t}, 1 - ϵ, 1 + ϵ) {\hat{A}}_{t})]$

${\hat{A}}_{t}$ 는 이점(advantage) 추정값이다. RLHF용 PPO는 학습 중인 정책, 참조 정책, 보상 모델, 가치 함수 네 개의 모델을 메모리에 올려야 해서 계산 비용이 크다. InstructGPT는 가치 함수를 보상 모델로 초기화했다.^[4]

결과

InstructGPT의 13억 매개변수 모델 출력은 매개변수가 100배 많은 1,750억 매개변수 GPT-3의 출력보다 사람 평가에서 더 선호되었고, 진실성이 높아지고 유해 출력이 줄었다.^[4] 같은 논문은 RLHF 뒤 SQuAD, DROP, HellaSwag 등 일부 공개 데이터셋에서 성능이 떨어지는 현상을 "정렬 세금"(alignment tax)이라 불렀다.

한계

2023년 32명의 연구자가 쓴 검토 논문은 RLHF의 문제를 사람 피드백, 보상 모델, 정책의 세 층위로 나눠 정리했다.^[13]

층위	문제	설명
사람 피드백	비용과 확장성	숙련 평가자가 대량의 비교를 해야 하며, 전문 영역일수록 비싸다
사람 피드백	평가자 편향과 오류	평가자의 선입견, 피로, 지식 한계가 보상에 그대로 들어간다. 사람이 판단하기 어려운 과제는 그럴듯함을 정확성으로 착각하기 쉽다
사람 피드백	선호의 다양성	서로 다른 사람의 선호를 하나의 스칼라 보상으로 요약하면 소수 의견이 지워진다
보상 모델	과최적화	보상 모델 점수를 계속 올리면 실제 품질은 어느 지점부터 떨어진다^[14]
정책	보상 해킹	길이를 늘리거나 단정적 어조를 쓰는 등 보상 모델이 좋아하는 표면 특징을 학습한다
정책	아첨	사용자 견해와 맞는 답이 선호되는 경향이 학습되어, 사실보다 사용자에게 맞장구친다^[15]
정책	출력 다양성 감소	RLHF 모델은 SFT 모델보다 분포 밖 일반화는 좋아지지만 출력 다양성은 크게 줄어든다는 분석이 있다^[16]
공정	불안정성과 복잡성	PPO는 하이퍼파라미터에 민감하고 네 모델을 함께 다뤄야 해 구현이 어렵다^[8]

RLHF가 안전 행동을 가르치더라도 그 행동이 모든 입력으로 일반화되지는 않는다. 역할극이나 번역으로 거절을 우회하는 탈옥이 계속 발견되는 것도 이 때문이다.

대안과 변형

RLHF의 비용과 불안정성을 줄이기 위해 피드백의 출처를 바꾸거나, 강화 학습 단계를 없애거나, 보상을 규칙으로 대체하는 방법이 나왔다.

AI 피드백(RLAIF)과 헌법 AI

앤트로픽의 헌법 AI는 사람이 원칙 목록만 주고, 모델이 그 원칙에 따라 자기 답을 비판·수정한 데이터로 SFT를 하고, AI가 매긴 선호로 보상 모델을 학습한다. 이 강화 학습 단계를 AI 피드백 기반 강화 학습(RLAIF)이라 부른다.^[7] 구글 연구진은 요약, 도움되는 대화, 무해한 대화 과제에서 RLAIF가 RLHF와 비슷한 성능을 내며, AI 평가자가 정책 모델과 같은 크기여도 효과가 있다고 보고했다.^[17]

직접 선호 최적화(DPO)

DPO는 KL 제약이 있는 RLHF 목적 함수의 최적 정책이 보상과 닫힌 형태로 연결된다는 점을 이용한다. 보상을 정책과 참조 정책의 로그 확률비로 다시 쓰면, 보상 모델을 따로 학습하지 않고 선호 쌍에 대한 분류 손실 하나로 정책을 바로 학습할 수 있다.^[8]

$ℒ_{D P O} (π_{θ}; π_{r e f}) = - 𝔼_{(x, y_{w}, y_{l}) \sim D} [\log σ (β \log \frac{π_{θ} (y_{w} | x)}{π_{r e f} (y_{w} | x)} - β \log \frac{π_{θ} (y_{l} | x)}{π_{r e f} (y_{l} | x)})]$

학습 중 언어 모델에서 샘플링할 필요가 없고 하이퍼파라미터 조정도 적어 공개 모델의 선호 학습에 많이 쓰인다. 논문은 감성 제어에서 PPO 기반 RLHF를 앞서고 요약과 단일 턴 대화에서 같거나 나은 결과를 보고했다.^[8] 다만 미리 모은 고정 데이터로 학습하는 오프라인 방법이라, 정책이 생성한 새 응답을 평가받는 온라인 RLHF와는 성격이 다르다.

그 밖의 선호 최적화 기법

기법	연도	핵심 아이디어	필요한 데이터
IPO^[18]	2023	DPO가 선호가 결정적일 때 과적합할 수 있음을 지적하고 손실을 제곱 형태로 바꿔 정규화	선호 쌍
KTO^[19]	2024	카너먼과 트버스키의 전망 이론을 본뜬 가치 함수로, 쌍 비교 대신 좋음과 나쁨 표시만으로 학습	응답별 좋음/나쁨
ORPO^[20]	2024	SFT 손실에 오즈비 기반 선호 항을 더해 SFT와 선호 학습을 한 단계로, 참조 모델 불필요	선호 쌍
SimPO^[21]	2024	길이로 정규화한 평균 로그 확률을 보상으로 써서 참조 모델을 없앰	선호 쌍
GRPO^[10]	2024	PPO의 가치 함수 대신 같은 프롬프트에 대한 여러 응답의 보상 평균을 기준선으로 써 메모리를 줄임	보상 함수 또는 보상 모델
RLVR^[11]	2024	정답 일치, 단위 테스트 통과처럼 검증 가능한 규칙으로 보상	검증 가능한 과제

규칙 기반 보상과 추론 모델

수학이나 코드처럼 답을 자동으로 확인할 수 있는 과제에서는 사람 선호 대신 규칙으로 보상을 줄 수 있다. 딥시크는 2025년 1월 공개한 DeepSeek-R1 논문에서, 먼저 SFT 없이 기반 모델에 GRPO와 정답·형식 규칙 보상만으로 강화 학습을 한 R1-Zero를 만들었다. 학습된 보상 모델은 대규모 강화 학습에서 보상 해킹을 겪을 수 있다는 이유로 R1-Zero에는 쓰지 않았다. 다만 최종 모델 R1은 추론 데이터에는 규칙 보상을, 일반 데이터에는 사람 선호를 반영하는 보상 모델을 쓰는 2차 강화 학습 단계를 거쳐 도움됨과 무해함을 함께 학습했다.^[22] 즉 규칙 기반 강화 학습은 RLHF를 완전히 대체했다기보다 추론 능력 학습 쪽에서 비중이 커졌다고 보는 편이 정확하다.

비교

구분	RLHF(PPO)	RLAIF	DPO 계열	규칙 기반 RL
피드백 출처	사람	AI 평가자	사람 또는 AI가 만든 선호 데이터	정답 확인 규칙
보상 모델	필요	필요(또는 AI 직접 채점)	불필요	불필요
학습 중 샘플링	필요(온라인)	필요	불필요(오프라인)	필요
적합한 과제	주관적 품질, 안전성	대량의 안전성·품질 판단	공개 모델의 선호 맞춤	수학, 코드, 형식이 정해진 과제
주요 위험	보상 해킹, 비용	AI 평가자의 편향 전이	분포 밖 일반화, 데이터 의존	검증기의 허점 악용

같이 보기

각주

↑ Paul Christiano 외, 〈Deep reinforcement learning from human preferences〉, NeurIPS 2017. arXiv:1706.03741
↑ Daniel M. Ziegler 외, 〈Fine-Tuning Language Models from Human Preferences〉, 2019. arXiv:1909.08593
↑ Nisan Stiennon 외, 〈Learning to summarize from human feedback〉, NeurIPS 2020. arXiv:2009.01325
↑ ^4.0 ^4.1 ^4.2 ^4.3 ^4.4 ^4.5 ^4.6 Long Ouyang 외, 〈Training language models to follow instructions with human feedback〉, NeurIPS 2022. arXiv:2203.02155
↑ Yuntao Bai 외, 〈Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback〉, 2022. arXiv:2204.05862
↑ Introducing ChatGPT, OpenAI, 2022-11-30.
↑ ^7.0 ^7.1 Yuntao Bai 외, 〈Constitutional AI: Harmlessness from AI Feedback〉, 2022. arXiv:2212.08073
↑ ^8.0 ^8.1 ^8.2 ^8.3 Rafael Rafailov 외, 〈Direct Preference Optimization: Your Language Model is Secretly a Reward Model〉, NeurIPS 2023. arXiv:2305.18290
↑ Hugo Touvron 외, 〈Llama 2: Open Foundation and Fine-Tuned Chat Models〉, 2023. arXiv:2307.09288
↑ ^10.0 ^10.1 Zhihong Shao 외, 〈DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models〉, 2024. arXiv:2402.03300
↑ ^11.0 ^11.1 Nathan Lambert 외, 〈Tulu 3: Pushing Frontiers in Open Language Model Post-Training〉, 2024. arXiv:2411.15124
↑ John Schulman 외, 〈Proximal Policy Optimization Algorithms〉, 2017. arXiv:1707.06347
↑ Stephen Casper 외, 〈Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback〉, 2023. arXiv:2307.15217
↑ Leo Gao, John Schulman, Jacob Hilton, 〈Scaling Laws for Reward Model Overoptimization〉, 2022. arXiv:2210.10760
↑ Mrinank Sharma 외, 〈Towards Understanding Sycophancy in Language Models〉, ICLR 2024. arXiv:2310.13548
↑ Robert Kirk 외, 〈Understanding the Effects of RLHF on LLM Generalisation and Diversity〉, ICLR 2024. arXiv:2310.06452
↑ Harrison Lee 외, 〈RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback〉, ICML 2024. arXiv:2309.00267
↑ Mohammad Gheshlaghi Azar 외, 〈A General Theoretical Paradigm to Understand Learning from Human Preferences〉, 2023. arXiv:2310.12036
↑ Kawin Ethayarajh 외, 〈KTO: Model Alignment as Prospect Theoretic Optimization〉, 2024. arXiv:2402.01306
↑ Jiwoo Hong 외, 〈ORPO: Monolithic Preference Optimization without Reference Model〉, 2024. arXiv:2403.07691
↑ Yu Meng 외, 〈SimPO: Simple Preference Optimization with a Reference-Free Reward〉, 2024. arXiv:2405.14734
↑ DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948

참고 문헌

Ralph Allan Bradley, Milton E. Terry, 〈Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons〉, Biometrika 39(3/4), 1952.

[christiano-1] Paul Christiano 외, 〈Deep reinforcement learning from human preferences〉, NeurIPS 2017. arXiv:1706.03741

[ziegler-2] Daniel M. Ziegler 외, 〈Fine-Tuning Language Models from Human Preferences〉, 2019. arXiv:1909.08593

[stiennon-3] Nisan Stiennon 외, 〈Learning to summarize from human feedback〉, NeurIPS 2020. arXiv:2009.01325

[instructgpt-4] 4.0 ^4.1 ^4.2 ^4.3 ^4.4 ^4.5 ^4.6 Long Ouyang 외, 〈Training language models to follow instructions with human feedback〉, NeurIPS 2022. arXiv:2203.02155

[hh-5] Yuntao Bai 외, 〈Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback〉, 2022. arXiv:2204.05862

[chatgpt-6] Introducing ChatGPT, OpenAI, 2022-11-30.

[cai-7] 7.0 ^7.1 Yuntao Bai 외, 〈Constitutional AI: Harmlessness from AI Feedback〉, 2022. arXiv:2212.08073

[dpo-8] 8.0 ^8.1 ^8.2 ^8.3 Rafael Rafailov 외, 〈Direct Preference Optimization: Your Language Model is Secretly a Reward Model〉, NeurIPS 2023. arXiv:2305.18290

[llama2-9] Hugo Touvron 외, 〈Llama 2: Open Foundation and Fine-Tuned Chat Models〉, 2023. arXiv:2307.09288

[grpo-10] 10.0 ^10.1 Zhihong Shao 외, 〈DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models〉, 2024. arXiv:2402.03300

[tulu3-11] 11.0 ^11.1 Nathan Lambert 외, 〈Tulu 3: Pushing Frontiers in Open Language Model Post-Training〉, 2024. arXiv:2411.15124

[ppo-12] John Schulman 외, 〈Proximal Policy Optimization Algorithms〉, 2017. arXiv:1707.06347

[casper-13] Stephen Casper 외, 〈Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback〉, 2023. arXiv:2307.15217

[gao-14] Leo Gao, John Schulman, Jacob Hilton, 〈Scaling Laws for Reward Model Overoptimization〉, 2022. arXiv:2210.10760

[sycophancy-15] Mrinank Sharma 외, 〈Towards Understanding Sycophancy in Language Models〉, ICLR 2024. arXiv:2310.13548

[kirk-16] Robert Kirk 외, 〈Understanding the Effects of RLHF on LLM Generalisation and Diversity〉, ICLR 2024. arXiv:2310.06452

[rlaif-17] Harrison Lee 외, 〈RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback〉, ICML 2024. arXiv:2309.00267

[ipo-18] Mohammad Gheshlaghi Azar 외, 〈A General Theoretical Paradigm to Understand Learning from Human Preferences〉, 2023. arXiv:2310.12036

[kto-19] Kawin Ethayarajh 외, 〈KTO: Model Alignment as Prospect Theoretic Optimization〉, 2024. arXiv:2402.01306

[orpo-20] Jiwoo Hong 외, 〈ORPO: Monolithic Preference Optimization without Reference Model〉, 2024. arXiv:2403.07691

[simpo-21] Yu Meng 외, 〈SimPO: Simple Preference Optimization with a Reference-Free Reward〉, 2024. arXiv:2405.14734

[r1-22] DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]