강화 학습

Reinforcement learning; 강화 학습

에이전트가 환경과 상호작용하며 받는 보상의 합이 가장 커지도록 행동 방식(정책)을 스스로 배우는 기계 학습 방법

강화 학습(reinforcement learning, RL)은 기계 학습의 한 갈래로, 에이전트(agent)가 어떤 상태(state)에서 행동(action)을 하고 그 결과로 보상(reward)을 받는 과정을 되풀이하며, 장기적으로 받는 보상의 합을 최대화하는 행동 규칙을 배우는 방법이다. 정답 행동을 알려 주는 지도 학습과 달리 무엇이 좋은 행동인지는 보상 신호로만 간접적으로 전해지고, 그 보상도 행동 직후가 아니라 한참 뒤에 올 수 있다. 행동 심리학의 보상과 처벌에 의한 학습에서 영감을 받았다.

게임 인공지능, 로봇 제어, 자원 배분, 추천처럼 연속된 결정을 내려야 하는 문제에 쓰인다. 알파고가 바둑에서 이세돌을 이긴 것, 그리고 대형 언어 모델을 사람의 선호에 맞추는 인간 피드백 기반 강화 학습(RLHF)과 수학·코딩 문제를 푸는 추론 모델의 학습도 강화 학습이다. 2025년 3월 ACM은 강화 학습의 개념적·알고리즘적 기초를 세운 앤드루 바토와 리처드 서턴을 2024년 튜링상 수상자로 발표했다.

특징

• 보상 기반: 정답 대신 행동의 좋고 나쁨을 나타내는 스칼라 보상만 주어진다.
• 목표 지향: 당장의 보상이 아니라 미래까지 포함한 누적 보상을 최대화한다. 체스에서 말을 잡는 수가 당장은 이득이어도 판세로는 손해일 수 있는 것처럼, 눈앞의 보상과 장기 이익이 어긋날 수 있다.
• 상호작용: 고정된 데이터셋이 아니라 에이전트가 행동해서 직접 데이터를 모은다. 에이전트의 행동이 이후에 보게 될 데이터를 바꾼다.
• 지연된 보상과 신용 할당: 보상이 늦게 오므로 지난 행동 중 어느 것이 결과에 기여했는지 따지는 신용 할당(credit assignment) 문제가 생긴다.
• 탐험과 활용: 아는 것 중 가장 좋은 행동을 할지, 더 좋은 행동을 찾기 위해 새로운 행동을 해 볼지 균형을 잡아야 한다.

구성 요소

요소	기호	의미
에이전트		학습하고 행동하는 주체
환경		에이전트가 상호작용하는 외부 세계. 행동을 받아 다음 상태와 보상을 돌려준다.
상태	$s\in S$	에이전트가 관찰한 환경의 상황
행동	$a\in A$	에이전트가 고를 수 있는 선택. 바둑의 착점처럼 이산적일 수도, 로봇 관절의 토크처럼 연속적일 수도 있다.
보상	$r$	행동 직후 환경이 주는 스칼라 신호
정책	$\pi (a\mid s)$	상태에서 행동을 고르는 규칙. 결정론적일 수도 확률적일 수도 있다.
가치 함수	$V^{\pi }(s),Q^{\pi }(s,a)$	정책을 따를 때 앞으로 받을 보상의 기댓값
모델	$P(s^{\prime }\mid s,a),R(s,a)$	환경이 어떻게 변하고 어떤 보상을 줄지에 대한 에이전트의 예측. 없을 수도 있다.

마르코프 결정 과정

강화 학습 문제는 보통 마르코프 결정 과정(Markov decision process, MDP)으로 정식화한다. MDP는 다섯 요소 $(S,A,P,R,\gamma )$로 이루어진다.

• $S$: 상태의 집합
• $A$: 행동의 집합
• $P(s^{\prime }\mid s,a)$: 상태 $s$에서 행동 $a$를 했을 때 다음 상태가 $s^{\prime }$일 확률(상태 전이 함수). 다음 결과는 확률적으로 정해진다.
• $R(s,a)$: 보상 함수
• $\gamma \in [0,1]$: 할인율. 먼 미래의 보상을 얼마나 낮게 칠지 정한다.

마르코프 성질은 다음 상태가 현재 상태와 행동에만 의존하고 그 이전의 역사에는 의존하지 않는다는 가정이다. 에이전트가 환경의 상태를 다 볼 수 없으면 부분 관측 마르코프 결정 과정(POMDP)이 된다. 포커처럼 상대의 패를 모르는 게임이 그 예다. 기본 MDP는 에이전트가 상태를 완전히 관측한다고 가정하므로, "부분 관측 가능"은 MDP가 아니라 POMDP의 성질이다.

에이전트가 시점 $t$ 이후 받는 할인된 보상의 합을 이득(return)이라 한다.

$G_t=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\cdots =\sum _{k=0}^{\mathrm{\infty }}{\gamma }^k{r}_{t+k+1}$

강화 학습의 목표는 기대 이득 ${𝔼}_{\pi }[G_0]$를 최대화하는 정책 ${\pi }^{*}$를 찾는 것이다.

가치 함수와 벨만 방정식

• 상태 가치 함수 $V^{\pi }(s)={𝔼}_{\pi }[G_t\mid s_t=s]$: 상태 $s$에서 출발해 정책 $\pi$를 따를 때의 기대 이득
• 행동 가치 함수 $Q^{\pi }(s,a)={𝔼}_{\pi }[G_t\mid s_t=s,a_t=a]$: 상태 $s$에서 행동 $a$를 한 뒤 $\pi$를 따를 때의 기대 이득
• 어드밴티지 $A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$: 그 행동이 평균보다 얼마나 나은지

1950년대 리처드 벨먼은 동적 계획법을 연구하며 최적 제어 문제를 재귀식으로 표현했다. 가치 함수는 "지금 받는 보상 + 다음 상태 가치의 할인값"으로 쪼갤 수 있으며, 이를 벨만 방정식이라 한다. 최적 행동 가치 함수는 다음 벨만 최적 방정식을 만족한다.

$Q^{*}(s,a)=𝔼[r+\gamma \underset{a^{\prime }}{\max }{Q}^{*}(s^{\prime },a^{\prime })|s,a]$

$Q^{*}$를 알면 각 상태에서 $Q^{*}$가 가장 큰 행동을 고르는 것이 최적 정책이다. MDP와 벨만 방정식이라는 두 이론 위에 보상 기반 학습을 얹은 것이 강화 학습의 수학적 뼈대다. 자세한 내용은 동적 계획법 문서 참고.

탐험과 활용

지금까지 가장 좋았던 행동만 하면(활용, exploitation) 더 좋은 행동을 영영 발견하지 못하고, 새로운 행동만 시도하면(탐험, exploration) 보상을 놓친다. 이 균형 문제의 가장 단순한 형태가 상태가 하나뿐인 다중 슬롯머신 문제다. 자세한 내용은 N-슬롯 머신 문제 문서 참고.

• ε-탐욕: 확률 ε로 무작위 행동을, 나머지는 가장 좋은 행동을 한다. 학습이 진행되면 ε를 줄인다.
• 볼츠만(소프트맥스) 탐험: 가치가 높은 행동일수록 높은 확률로 고른다.
• UCB: 덜 시도해 본 행동에 불확실성만큼 가산점을 준다. 몬테카를로 트리 탐색의 UCT가 이 아이디어를 쓴다.
• 톰프슨 샘플링: 가치에 대한 사후 분포에서 표본을 뽑아 행동을 고른다.
• 내적 동기: 예측이 빗나가는 새로운 상태에 스스로 보상을 주어 탐험을 촉진한다. 보상이 드문 환경에서 쓴다.

알고리즘 분류

강화 학습 알고리즘은 몇 가지 축으로 나눈다.

• 모델 기반 vs 모델 프리: 환경의 전이·보상 모델을 알거나 학습해서 계획(planning)에 쓰면 모델 기반, 모델 없이 경험에서 바로 가치나 정책을 배우면 모델 프리다.
• 가치 기반 vs 정책 기반: 가치 함수를 학습하고 거기서 정책을 끌어내면 가치 기반, 정책을 직접 매개변수화해 최적화하면 정책 기반이다. 둘을 함께 쓰면 액터-크리틱이다.
• 온 폴리시 vs 오프 폴리시: 지금 개선 중인 정책으로 모은 데이터로만 학습하면 온 폴리시, 다른 정책(과거 정책, 탐험 정책, 사람의 시연)이 모은 데이터로도 학습할 수 있으면 오프 폴리시다. 오프 폴리시는 데이터를 재사용할 수 있어 표본 효율이 높다.

고전적 방법

방법	모델 필요	갱신 방식	설명
동적 계획법(정책 반복, 가치 반복)	필요	벨만 방정식을 반복 적용	전이 확률을 알 때 최적 정책을 정확히 계산한다. 상태가 많으면 계산량이 폭발한다.
몬테카를로 방법	불필요	에피소드가 끝난 뒤 실제 이득으로 갱신	편향이 없지만 분산이 크고, 에피소드가 끝나야 배운다. 자세한 내용은 몬테카를로 시뮬레이션 참고.
시간차(TD) 학습	불필요	한 걸음 뒤의 추정값으로 갱신(부트스트랩)	서턴이 1988년 정리했다. 바토와 서턴의 대표 업적이다.
SARSA	불필요	실제로 고른 다음 행동의 Q로 갱신	온 폴리시 TD 제어
Q-러닝	불필요	다음 상태에서 가장 큰 Q로 갱신	오프 폴리시 TD 제어. 왓킨스가 1989년 박사 논문에서 제안하고 1992년 수렴성을 증명했다. 자세한 내용은 Q-러닝 참고.

Q-러닝의 갱신식은 다음과 같다. 대괄호 안이 TD 오차이며, $\alpha$는 학습률이다.

$Q(s,a)\leftarrow Q(s,a)+\alpha [r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-Q(s,a)]$

SARSA는 $\underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })$ 대신 정책이 실제로 고른 $Q(s^{\prime },a^{\prime })$를 쓴다. 상태와 행동이 적으면 Q를 표로 저장할 수 있지만(표 기반), 바둑이나 이미지 입력처럼 상태가 많으면 신경망 같은 함수 근사가 필요하다.

가치 기반 심층 강화 학습

• DQN(Deep Q-Network): 딥마인드가 2013년 발표하고 2015년 Nature에 실은 방법으로, 합성곱 신경망으로 Q 함수를 근사했다. 화면 픽셀과 점수만 입력받아 49개 아타리 2600 게임에서 같은 알고리즘, 같은 신경망 구조, 같은 하이퍼파라미터로 사람 전문 게임 테스터에 견줄 성능을 냈다. 학습을 안정시키려고 과거 경험을 저장해 무작위로 다시 뽑아 쓰는 경험 재생(experience replay)과, 목표값 계산용 신경망을 천천히 갱신하는 목표 신경망(target network)을 썼다. 자세한 내용은 DQN 문서 참고.
• Double DQN: Q-러닝이 가치를 과대평가하는 문제를 행동 선택과 평가에 서로 다른 신경망을 써서 줄였다.
• Dueling DQN: Q를 상태 가치 $V(s)$와 어드밴티지 $A(s,a)$로 나눠 학습해, 어떤 행동을 고르든 $V(s)$ 학습에 데이터가 쓰이게 했다.
• 우선순위 경험 재생: TD 오차가 큰 경험을 더 자주 뽑는다.
• Rainbow: 위 개선들을 포함한 여러 기법을 하나로 합쳤다.

가치 기반 방법은 모든 행동의 Q를 비교해야 하므로 기본적으로 이산적인 행동 공간에 맞는다.

정책 경사와 액터-크리틱

정책 경사(policy gradient) 방법은 정책을 신경망 ${\pi }_{\theta }(a\mid s)$로 두고, 기대 이득 $J(\theta )$의 기울기를 따라 $\theta$를 올린다. 정책 경사 정리에 따르면 그 기울기는 다음과 같다.

${\mathrm{\nabla }}_{\theta }J(\theta )={𝔼}_{\pi }[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a\mid s)\hat{A}(s,a)]$

좋은 결과를 낸 행동의 확률은 올리고 나쁜 결과를 낸 행동의 확률은 내리는 셈이다. 연속적인 행동과 확률적 정책(가위바위보처럼 섞어 내는 것이 최적인 경우)을 자연스럽게 다룰 수 있지만, 기울기 추정의 분산이 커서 학습이 불안정하기 쉽다. 이미 만들어진 모델의 정책을 직접 조정할 수 있어서 언어 모델 미세조정에 주로 쓰인다.

알고리즘	연도	유형	행동 공간	핵심
REINFORCE	1992	정책 경사, 온 폴리시	이산·연속	에피소드의 실제 이득으로 정책 경사를 추정하는 가장 기본적인 방법
액터-크리틱	1980년대~	정책(액터) + 가치(크리틱)	이산·연속	크리틱이 추정한 가치로 액터의 기울기 분산을 줄인다.
TRPO	2015	정책 경사, 온 폴리시	이산·연속	갱신 전후 정책의 차이(KL 발산)를 일정 범위로 제한한다.
DDPG	2015	액터-크리틱, 오프 폴리시	연속	결정론적 정책 경사에 DQN의 기법을 결합했다.
A3C·A2C	2016	액터-크리틱, 온 폴리시	이산·연속	여러 에이전트가 병렬로 경험을 모아 비동기(A3C) 또는 동기(A2C)로 갱신한다.
PPO	2017	액터-크리틱, 온 폴리시	이산·연속	TRPO의 제약을 정책 비율 클리핑이라는 1차 근사로 바꿔 구현을 단순화했다. RLHF의 표준 알고리즘으로 쓰였다.
TD3	2018	액터-크리틱, 오프 폴리시	연속	두 개의 크리틱 중 작은 값을 써서 DDPG의 과대평가를 줄였다.
SAC	2018	액터-크리틱, 오프 폴리시	연속	보상과 함께 정책의 엔트로피도 최대화해 탐험과 안정성을 높였다.
GRPO	2024	정책 경사, 온 폴리시	토큰 생성	PPO의 변형으로, 크리틱 신경망 없이 같은 질문에 대한 여러 답변의 점수를 서로 비교해 어드밴티지를 구한다. 메모리 사용을 줄였다.

모델 기반 강화 학습

환경 모델이 있으면 실제로 행동하지 않고도 머릿속에서 결과를 시뮬레이션해 계획을 세울 수 있어 표본 효율이 높다. 대신 모델이 틀리면 그 오차가 계획에 누적된다.

• 규칙을 아는 경우: 바둑·체스처럼 규칙이 주어진 게임은 몬테카를로 트리 탐색으로 앞수를 읽고 신경망으로 탐색을 안내한다. 알파고와 알파제로가 이 방식이다.
• 모델을 학습하는 경우: MuZero는 게임 규칙을 모른 채 계획에 필요한 만큼만 환경 모델을 학습해 바둑, 체스, 쇼기, 아타리에서 높은 성능을 냈다. 2018년의 〈World Models〉는 환경을 압축해 학습한 생성 모델 안에서 정책을 학습했다. 자세한 내용은 월드 모델 문서 참고.
• 제어 공학에서 쓰는 모델 예측 제어(MPC)도 학습된 모델과 결합해 쓴다.

여러 갈래

• 다중 에이전트 강화 학습: 여러 에이전트가 협력하거나 경쟁한다. 자세한 내용은 다중 강화학습 문서 참고.
• 역강화 학습: 전문가의 행동을 보고 그 행동을 설명하는 보상 함수를 추정한다.
• 모방 학습: 전문가의 시연을 지도 학습처럼 따라 한다(행동 복제). 강화 학습의 초기 정책으로 많이 쓴다.
• 오프라인 강화 학습: 새로 상호작용하지 않고 이미 모아 둔 데이터만으로 정책을 학습한다. 의료처럼 시행착오가 위험한 분야에서 연구된다.
• 계층적 강화 학습: 큰 목표를 하위 목표로 나눠 상위 정책과 하위 정책을 따로 학습한다.
• 안전한 강화 학습: 학습과 실행 중에 제약 조건을 어기지 않도록 한다.
• 메타 강화 학습: 여러 과제를 겪으며 새 과제에 빨리 적응하는 법을 배운다. 자세한 내용은 메타 러닝 문서 참고.

대표 성과

연도	시스템	내용
1959	새뮤얼의 체커 프로그램	자기 대국 경험으로 평가 함수를 고쳐 나간 초기 학습 프로그램
1992~1995	TD-Gammon	제럴드 테사우로가 신경망과 시간차 학습, 자기 대국으로 백개먼을 학습시켰다.
2013~2015	DQN	아타리 49개 게임을 화면 픽셀만으로 학습했다.
2015~2016	알파고	사람 기보로 지도 학습한 뒤 자기 대국 강화 학습과 몬테카를로 트리 탐색을 결합했다. 2015년 10월 유럽 챔피언 판후이를 5 대 0으로, 2016년 3월 서울에서 이세돌을 4 대 1로 이겼다. 자세한 내용은 알파고 문서 참고.
2017	알파고 제로	사람 기보 없이 백지 상태에서 자기 대국만으로 학습해 이세돌을 이긴 알파고를 100 대 0으로 이겼다.
2017~2018	알파제로	같은 알고리즘으로 체스, 쇼기, 바둑을 모두 자기 대국으로 학습했다.
2019	OpenAI Five	2019년 4월 13일 도타 2 세계 챔피언 팀을 이겼다. e스포츠 세계 챔피언을 이긴 첫 AI 시스템이다.
2019	알파스타	다중 에이전트 강화 학습으로 스타크래프트 II에서 그랜드마스터 수준에 도달했다.
2019~2020	MuZero	규칙을 모른 채 모델을 학습해 계획했다.
2022	InstructGPT, ChatGPT	사람 선호로 학습한 보상 모델과 PPO로 언어 모델을 미세조정했다.
2024~2025	추론 모델	OpenAI o1이 강화 학습으로 긴 사고 과정을 거쳐 답하도록 학습되었고, 딥시크 R1이 공개 논문에서 대규모 강화 학습 방법을 밝혔다.

대형 언어 모델과 강화 학습

2020년대 들어 강화 학습의 가장 큰 응용처는 대형 언어 모델의 사후 학습(post-training)이다. 언어 모델을 정책, 생성한 토큰을 행동, 답변의 평가를 보상으로 보면 강화 학습 문제가 된다.

• RLHF: 사람이 모델의 여러 답변에 순위를 매기면, 그 선호를 흉내 내는 보상 모델을 학습하고 PPO 같은 알고리즘으로 언어 모델을 그 보상에 맞게 조정한다. 2017년 크리스티아노 등이 사람의 비교 판단으로 보상을 학습하는 방법을 제시했고, OpenAI의 InstructGPT 논문에서는 RLHF를 거친 13억 매개변수 모델의 답변이 1750억 매개변수 GPT-3의 답변보다 사람 평가에서 더 선호되었다. 자세한 내용은 인간 피드백 기반 강화 학습 문서 참고.
• DPO: 별도의 보상 모델과 강화 학습 루프 없이 선호 데이터로 언어 모델을 바로 최적화하는 방법이다. 엄밀히는 강화 학습이 아니지만 같은 목적을 위해 쓰인다.
• 검증 가능한 보상(RLVR): 수학 문제의 정답 여부, 코드의 테스트 통과 여부처럼 자동으로 판정할 수 있는 보상을 쓴다. 이 명칭은 2024년 Tülu 3 논문에서 제안되었다.
• 추론 모델: 딥시크는 지도 미세조정 없이 대규모 강화 학습만으로 학습한 DeepSeek-R1-Zero가 강한 추론 능력을 보였다고 보고했다. 다만 가독성과 언어 혼용 문제가 있어 DeepSeek-R1에는 소량의 초기 데이터와 다단계 학습을 더했다. 학습에는 GRPO를 썼다. 자세한 내용은 추론 모델 (인공지능) 문서 참고.
• 보상 해킹: 모델이 보상 모델의 허점을 파고들어 점수만 높이는 현상이 생긴다. 자세한 내용은 보상 해킹, 인공지능 정렬 문서 참고.

응용

• 게임: 바둑, 체스, 아타리, 스타크래프트 II, 도타 2
• 로봇 공학: 걷기, 물체 잡기 등 제어 정책 학습. 시뮬레이션에서 학습한 정책을 실제 로봇에 옮기는 sim-to-real이 핵심 과제다. 자세한 내용은 임보디드 인공지능, 피지컬 AI, 비전-언어-행동 모델 문서 참고.
• 자율주행: 의사결정과 경로 계획 일부에 연구된다. 자세한 내용은 자율주행차 문서 참고.
• 언어 모델: RLHF, 추론 모델, AI 에이전트의 도구 사용 학습
• 신경망 구조 탐색: 2016년 조프와 레가 강화 학습으로 신경망 구조를 설계하는 방법을 발표했다. 자세한 내용은 AutoML 문서 참고.
• 추천·광고, 자원 배분, 재고 관리, 금융 거래 등 순차적 의사결정 문제

한계와 과제

• 표본 비효율: 사람이라면 몇 판 만에 배울 게임도 수백만 번의 시행이 필요한 경우가 많다. 실제 로봇처럼 시행 비용이 큰 환경에서는 큰 제약이다.
• 보상 설계: 원하는 행동을 정확히 보상 함수로 표현하기 어렵다. 보상을 잘못 설계하면 에이전트가 의도하지 않은 방식으로 점수를 얻는다. 자세한 내용은 보상 해킹 문서 참고.
• 불안정성: 함수 근사, 부트스트랩, 오프 폴리시 학습이 함께 쓰이면 발산할 수 있다. 하이퍼파라미터와 난수 시드에 따라 결과가 크게 달라져 재현이 어렵다.
• 일반화: 학습한 환경에서 조금만 바뀌어도 성능이 떨어지는 경우가 많다.
• 안전: 탐험 과정에서 위험한 행동을 할 수 있다.

도구

• 환경: OpenAI가 2016년 공개한 Gym과 그 후속인 Gymnasium이 표준 인터페이스로 쓰인다. 물리 시뮬레이터 MuJoCo, 아타리 학습 환경(ALE)도 있다.
• 라이브러리: Stable-Baselines3(파이토치 기반 표준 알고리즘 구현), CleanRL(알고리즘 하나를 파일 하나에 구현), RLlib(분산 학습)
• 언어 모델용: 허깅 페이스 TRL 등 RLHF·DPO·GRPO 구현 라이브러리
• 교재: 서턴과 바토의 《Reinforcement Learning: An Introduction》. 1998년 초판, 2018년 2판이 나왔고 저자 웹사이트에서 전문을 볼 수 있다.

같이 보기

• 기계 학습
• 마르코프 결정 프로세스
• Q-러닝
• DQN
• 몬테카를로 트리 탐색
• MuZero (인공지능)
• 다중 강화학습
• 인간 피드백 기반 강화 학습
• 추론 모델 (인공지능)
• 보상 해킹

참고 문헌

• Sutton & Barto, 《Reinforcement Learning: An Introduction》 2판
• OpenAI Spinning Up in Deep RL