보상 모델

Reward Model, RM; 보상 모델
프롬프트와 응답을 받아 사람이 그 응답을 얼마나 선호할지를 스칼라 점수로 예측하는 모델

보상 모델(Reward Model, RM)은 인간 피드백 기반 강화 학습(RLHF)에서 사람의 판단을 대신하는 모델이다. "좋은 답변"처럼 수식으로 쓰기 어려운 목표를 사람이 매긴 비교 데이터로 학습해 점수 함수로 바꾸고, 이 점수를 PPO 같은 강화 학습 알고리즘의 보상으로 쓴다. 선호 학습 연구에서는 선호 모델(preference model, PM)이라고도 부른다.^[1]

보상 모델은 강화 학습 말고도 여러 곳에 쓰인다. 후보 응답 N개 가운데 가장 높은 점수를 고르는 best-of-N 표본 추출, 좋은 응답만 골라 다시 학습하는 거절 표본 추출(rejection sampling), 직접 선호 최적화(DPO)용 선호 쌍 생성, 학습 데이터 걸러내기가 대표적이다. 반면 보상 모델은 사람 선호의 불완전한 대리 지표라서, 그 점수를 지나치게 최적화하면 실제 품질은 오히려 떨어진다(보상 과최적화). 이 문서는 보상 모델의 학습 원리, 구조, 평가, 과최적화를 다룬다.

브래들리-테리 보상 모델

모형

쌍 비교 데이터는 1952년 브래들리(Bradley)와 테리(Terry)가 제안한 모형으로 다룬다. 프롬프트 $x$ 에 대한 두 응답 가운데 $y_{w}$ 가 $y_{l}$ 보다 선호될 확률을 두 응답의 잠재 점수 차이의 로지스틱 함수로 둔다.

$p (y_{w} ≻ y_{l} ∣ x) = \frac{\exp (r (x, y_{w}))}{\exp (r (x, y_{w})) + \exp (r (x, y_{l}))} = σ (r (x, y_{w}) - r (x, y_{l}))$

보상 모델 $r_{θ}$ 는 이 확률의 음의 로그 가능도를 최소화해 학습한다.

$ℒ_{R M} (θ) = - 𝔼_{(x, y_{w}, y_{l}) \sim D} [\log σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$

정답 레이블이 "앞쪽이 이긴다"로 고정된 이진 교차 엔트로피다. 점수 차이가 곧 로그 오즈이므로, 보상 차이 1은 선호 확률 약 73%, 차이 2는 약 88%에 해당한다.

점수의 기준점

손실은 점수 차이만 보므로 모든 점수에 같은 상수를 더해도 손실이 변하지 않는다. 그래서 점수의 절대값은 의미가 없고 학습마다 기준점이 떠다닌다. InstructGPT는 강화 학습 전에 사람이 쓴 모범 답안의 평균 점수가 0이 되도록 편향을 조정했다.^[2] 보상 모델 앙상블 연구는 선호 쌍의 두 점수 합을 0으로 당기는 보조 손실 $η 𝔼 [(r_{θ} (x, y_{w}) + r_{θ} (x, y_{l}))^{2}]$ 을 더해 점수를 0 근처에 모으는 방법을 썼고,^[3] TRL은 이를 center_rewards_coefficient(권장값 0.01)로 제공한다.^[4]

순위 데이터

한 프롬프트에 응답 $K$ 개의 순위를 받으면 $(\binom{K}{2})$ 개의 쌍이 나온다. InstructGPT는 $K$ 를 4~9로 두었는데, 이 쌍들을 데이터셋에 섞어 따로 학습하면 같은 응답이 여러 번 쓰여 한 에포크 만에 과적합했다. 그래서 한 프롬프트의 모든 쌍을 배치 원소 하나로 묶어 학습했고, 응답마다 순전파를 한 번만 하면 되어 계산도 줄었다.^[2]

구조

일반적인 보상 모델은 언어 모델의 마지막 어휘 출력층(unembedding)을 떼고, 마지막 토큰의 은닉 상태를 스칼라 하나로 바꾸는 선형층을 붙인 구조다. InstructGPT는 SFT 모델에서 출발해 이렇게 만들었고, 1,750억 매개변수 보상 모델은 학습이 불안정할 수 있어 60억 매개변수 보상 모델만 썼다.^[2] 허깅 페이스 Transformers에서는 AutoModelForSequenceClassification에 num_labels=1을 주면 같은 구조가 된다.

유형	출력	예	특징
분류기형(브래들리-테리)	스칼라 점수	InstructGPT RM, Skywork-Reward	빠르고 단순. 이유를 설명하지 못함
암묵적 보상	$β \log \frac{π_{θ} (y \| x)}{π_{r e f} (y \| x)}$	DPO로 학습한 정책	별도 모델 없이 정책 자체가 보상 모델 역할
생성형 보상 모델, LLM 심판	판단 문장과 점수 또는 선택	GenRM, LLM-as-a-judge	사고 과정을 쓰고 추론 시간 계산을 더 쓸 수 있음. 느림
결과 보상 모델(ORM)과 과정 보상 모델(PRM)	응답 전체 또는 단계별 점수	PRM800K로 학습한 PRM	추론 과제의 검증기로 쓰임
규칙 기반 보상	정답 일치, 테스트 통과 여부	검증 가능한 보상 강화 학습	학습이 필요 없고 해킹 여지가 적음. 적용 영역이 좁음

LLM 심판에 대해서는, GPT-4 같은 강한 모델의 판단이 통제된 실험과 크라우드소싱 양쪽에서 사람 선호와 80% 넘게 일치해 사람끼리의 일치도와 비슷했다는 보고가 있다. 다만 응답 위치, 장황함, 자기 출력 선호 같은 편향이 함께 확인되었다.^[5] 생성형 검증기(GenRM)는 검증을 다음 토큰 예측으로 학습해 사고 과정과 다수결을 쓸 수 있게 했고, 알고리즘 과제의 best-of-N 성능을 5%에서 45.3%로, GSM8K를 73%에서 93.4%로 올렸다고 보고했다.^[6]

학습 예

허깅 페이스 TRL v1.16.0(2026년 10월) 기준이다. 선호 데이터셋을 주면 선택(chosen)과 거절(rejected) 응답을 각각 채점해 위의 브래들리-테리 손실로 학습한다.^[4]

# pip install "trl==1.16.0"
from datasets import load_dataset
from trl import RewardConfig, RewardTrainer

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
args = RewardConfig(
    output_dir="qwen3-0.6b-rm",
    center_rewards_coefficient=0.01,   # 점수를 0 근처로 모으는 보조 손실
)
trainer = RewardTrainer(model="Qwen/Qwen3-0.6B", args=args, train_dataset=dataset)
trainer.train()

학습한 모델로 점수를 매길 때는 분류 헤드의 출력 하나를 그대로 읽는다.

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

tok = AutoTokenizer.from_pretrained("qwen3-0.6b-rm")
rm = AutoModelForSequenceClassification.from_pretrained("qwen3-0.6b-rm", num_labels=1)
chat = [{"role": "user", "content": "하늘은 무슨 색이야?"},
        {"role": "assistant", "content": "맑은 날에는 파란색이다."}]
inputs = tok.apply_chat_template(chat, tokenize=True, return_dict=True, return_tensors="pt")
with torch.no_grad():
    score = rm(**inputs).logits[0, 0].item()   # 스칼라 보상

학습 중 볼 지표는 검증 세트 정확도(선택 응답의 점수가 더 높은 비율)와 점수 마진이다. 사람 평가자끼리도 의견이 갈리므로 정확도의 상한은 100%보다 낮다. OpenAI TL;DR 요약 실험을 재현한 연구에서 69억 매개변수 보상 모델의 검증 정확도는 평가자 신뢰도가 가장 높은 쌍에서 0.765, 가장 낮은 쌍에서 0.795 정도였고, 큰 보상 모델일수록 검증 정확도가 높았다.^[7]

평가

보상 모델은 정책 학습의 중간 산물이라 오랫동안 따로 평가되지 않았다. 2024년 앨런 AI 연구소 등이 낸 RewardBench는 대화, 어려운 대화, 안전, 추론 영역의 (프롬프트, 선택, 거절) 세 쌍을 모아, 버그나 사실 오류처럼 어느 쪽이 나은지 확인 가능한 이유가 있는 비교에서 보상 모델이 선택 응답을 더 높게 매기는지 측정한다.^[8] 분류기형 모델과 DPO의 암묵적 보상을 같은 기준으로 비교할 수 있다. Skywork-Reward는 공개 선호 데이터를 걸러 8만 쌍만으로 학습한 Gemma-2 27B 기반 모델로 발표 당시 RewardBench 1위를 기록했다.^[9] 다만 벤치마크 정확도가 높다고 그 보상 모델로 강화 학습한 정책이 좋아진다는 보장은 없다.

보상 과최적화

보상 모델은 사람 선호의 근사라서, 정책이 점수를 계속 올리면 어느 시점부터 실제 품질이 떨어진다. "측정치가 목표가 되면 좋은 측정치가 아니게 된다"는 굿하트의 법칙(Goodhart's law)의 사례이며, 정책 쪽에서 보면 보상 해킹이다.

스케일링 법칙

OpenAI의 2022년 연구는 사람 대신 60억 매개변수 "황금" 보상 모델이 매긴 레이블로 300만~30억 매개변수 대리 보상 모델을 학습하고, 대리 모델을 최적화할 때 황금 점수가 어떻게 변하는지 측정했다.^[10] 초기 정책에서 멀어진 정도를 $d = \sqrt{D_{K L} (π ‖ π_{i n i t})}$ 로 두면 황금 점수는 다음 모양을 따랐다.

$R_{b o n} (d) = d (α_{b o n} - β_{b o n} d), R_{R L} (d) = d (α_{R L} - β_{R L} \log d)$

두 식 모두 처음에는 오르다가 최고점을 지나 떨어진다. 계수 $α$ , $β$ 는 보상 모델 매개변수 수에 따라 매끄럽게 변했다. 같은 실험에서 강화 학습에 KL 벌점을 걸어도 황금 점수와 KL의 관계 자체는 바뀌지 않아, KL 벌점의 효과는 조기 종료와 비슷했다.^[10]

흔한 해킹 양상과 대응

양상	설명	대응
길이 편향	긴 응답이 더 좋은 평가를 받는 경향이 보상 모델에 학습되어 정책이 장황해진다	길이 정규화, 길이 통제 평가, 길이 벌점
아첨	사용자 견해에 맞장구치는 응답이 선호된다^[11]	선호 데이터 설계, 사실성 평가 추가
분포 밖 응답	정책이 보상 모델이 본 적 없는 응답을 내면 점수가 엉뚱해진다	KL 제약, 보상 모델 재학습(반복 RLHF)
모델 간 불일치	같은 데이터로 학습한 보상 모델끼리도 분포 밖에서는 점수가 크게 다르다	앙상블. 사전 학습 시드가 다른 모델의 앙상블이 미세조정 시드만 다른 앙상블보다 나았지만, 모든 모델이 같은 오류를 공유하면 해킹이 남았다^[3]

딥시크는 R1-Zero의 추론 과제 학습에서 신경망 보상 모델이 대규모 강화 학습 중 해킹에 취약하다는 이유로 규칙 기반 보상만 썼고, 일반 대화용 도움됨 보상 모델에서는 실제로 보상은 오르는데 추론 성능은 떨어지는 해킹을 관찰했다고 밝혔다.^[12]

같이 보기

각주

↑ Yuntao Bai 외, 〈Constitutional AI: Harmlessness from AI Feedback〉, 2022. arXiv:2212.08073
↑ ^2.0 ^2.1 ^2.2 Long Ouyang 외, 〈Training language models to follow instructions with human feedback〉, NeurIPS 2022. arXiv:2203.02155
↑ ^3.0 ^3.1 Jacob Eisenstein 외, 〈Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking〉, COLM 2024. arXiv:2312.09244
↑ ^4.0 ^4.1 Reward Modeling, 허깅 페이스 TRL 문서(v1.16.0 원문 reward_trainer.md).
↑ Lianmin Zheng 외, 〈Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena〉, NeurIPS 2023 Datasets and Benchmarks. arXiv:2306.05685
↑ Lunjun Zhang 외, 〈Generative Verifiers: Reward Modeling as Next-Token Prediction〉, ICLR 2025. arXiv:2408.15240
↑ Shengyi Huang 외, 〈The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization〉, 2024. arXiv:2403.17031
↑ Nathan Lambert 외, 〈RewardBench: Evaluating Reward Models for Language Modeling〉, 2024. arXiv:2403.13787
↑ Chris Yuhao Liu 외, 〈Skywork-Reward: Bag of Tricks for Reward Modeling in LLMs〉, 2024. arXiv:2410.18451
↑ ^10.0 ^10.1 Leo Gao, John Schulman, Jacob Hilton, 〈Scaling Laws for Reward Model Overoptimization〉, 2022. arXiv:2210.10760
↑ Mrinank Sharma 외, 〈Towards Understanding Sycophancy in Language Models〉, ICLR 2024. arXiv:2310.13548
↑ DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948

참고 문헌

Ralph Allan Bradley, Milton E. Terry, 〈Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons〉, Biometrika 39(3/4), 1952.

[cai-1] Yuntao Bai 외, 〈Constitutional AI: Harmlessness from AI Feedback〉, 2022. arXiv:2212.08073

[instructgpt-2] 2.0 ^2.1 ^2.2 Long Ouyang 외, 〈Training language models to follow instructions with human feedback〉, NeurIPS 2022. arXiv:2203.02155

[ensemble-3] 3.0 ^3.1 Jacob Eisenstein 외, 〈Helping or Herding? Reward Model Ensembles Mitigate but do not Eliminate Reward Hacking〉, COLM 2024. arXiv:2312.09244

[trlrm-4] 4.0 ^4.1 Reward Modeling, 허깅 페이스 TRL 문서(v1.16.0 원문 reward_trainer.md).

[judge-5] Lianmin Zheng 외, 〈Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena〉, NeurIPS 2023 Datasets and Benchmarks. arXiv:2306.05685

[genrm-6] Lunjun Zhang 외, 〈Generative Verifiers: Reward Modeling as Next-Token Prediction〉, ICLR 2025. arXiv:2408.15240

[nplus-7] Shengyi Huang 외, 〈The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization〉, 2024. arXiv:2403.17031

[rewardbench-8] Nathan Lambert 외, 〈RewardBench: Evaluating Reward Models for Language Modeling〉, 2024. arXiv:2403.13787

[skywork-9] Chris Yuhao Liu 외, 〈Skywork-Reward: Bag of Tricks for Reward Modeling in LLMs〉, 2024. arXiv:2410.18451

[gao-10] 10.0 ^10.1 Leo Gao, John Schulman, Jacob Hilton, 〈Scaling Laws for Reward Model Overoptimization〉, 2022. arXiv:2210.10760

[syco-11] Mrinank Sharma 외, 〈Towards Understanding Sycophancy in Language Models〉, ICLR 2024. arXiv:2310.13548

[r1-12] DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]