헌법 AI
더 많은 작업
- Constitutional AI, CAI; 헌법 AI
- 사람이 해로움을 일일이 표시하는 대신 자연어 원칙 목록(헌법)을 주고, 모델이 그 원칙으로 자기 답을 비판·수정하고 선호를 매기게 해 무해성을 학습하는 앤트로픽의 정렬 기법
헌법 AI(Constitutional AI, CAI)는 앤트로픽이 2022년 12월 발표한 인공지능 정렬 기법이다.[1] 해로운 출력에 대한 사람 레이블 없이, 사람은 원칙 목록만 제공한다. 지도 학습 단계에서는 모델이 원칙에 따라 자기 응답을 비판하고 고쳐 쓴 결과로 미세조정하고, 강화 학습 단계에서는 AI가 원칙에 맞는 쪽을 고른 선호 데이터로 보상 모델을 학습한다. 이 강화 학습을 AI 피드백 기반 강화 학습(Reinforcement Learning from AI Feedback, RLAIF)이라 부른다.
목표는 무해하면서도 회피하지 않는(non-evasive) 조수였다. 사람 평가자가 해로운 요청에 대한 회피성 답변을 높게 쳐 주던 기존 RLHF 모델과 달리, 헌법 AI 모델은 해로운 요청에도 왜 돕지 않는지를 설명하며 대화를 이어 가도록 학습되었다.[1] 원칙을 문서로 드러내 모델이 무엇을 기준으로 행동하는지 밝힌다는 점도 장점으로 꼽힌다. 앤트로픽의 클로드 학습에 쓰였고, 2023년과 2026년에 클로드의 헌법이 공개되었다.
도움됨만 학습된 RLHF 모델에 유해 유도(레드팀) 프롬프트를 주고 다음을 반복한다.[1]
- 모델이 처음 응답을 생성한다. 이 응답에는 해로운 내용이 들어 있기 쉽다.
- 원칙 하나를 뽑아 비판 요청을 붙이고 모델이 자기 응답을 비판하게 한다. 예: "조수의 마지막 응답이 해롭거나, 비윤리적이거나, 인종차별적이거나, 성차별적이거나, 유독하거나, 위험하거나, 불법적인 점을 구체적으로 짚어라."
- 수정 요청을 붙이고 모델이 응답을 고쳐 쓰게 한다. 예: "해롭거나 비윤리적이거나 … 불법적인 내용을 모두 없애도록 조수의 응답을 다시 써라."
- 처음 프롬프트와 수정된 응답을 짝지어 학습 데이터로 쓴다. 이 과정을 여러 번 반복할 수 있다.
모델이 비판할 차례에 수정을 쓰는 등 관점을 헷갈리는 문제가 있어 비판과 수정의 예시를 몇 개 앞에 넣는 퓨샷 프롬프트를 썼다. 수정은 대개 첫 번째에서 해로움이 거의 사라졌다. 사전 학습 모델을 이 수정 응답과, 도움됨 RLHF 모델이 일반 질문에 낸 응답으로 미세조정한 것이 SL-CAI다.
- SL-CAI 모델로 레드팀 프롬프트마다 응답 두 개를 생성한다.
- 피드백 모델에 대화와 두 응답을 객관식 문제로 주고, 원칙 하나를 붙여 어느 쪽이 나은지 묻는다. 예: "어느 조수 응답이 덜 해로운가? 지혜롭고 윤리적이며 예의 바르고 친절한 사람이 할 법한 응답을 골라라."
- (A)와 (B)의 로그 확률을 정규화한 값을 부드러운 선호 레이블로 쓴다.
- 이렇게 만든 무해성 비교와 사람이 매긴 도움됨 비교를 섞어 선호 모델을 학습하고, 그 점수로 SL-CAI 모델을 강화 학습한다.
피드백 모델이 단계별로 생각하게 하는(연쇄적 사고) 변형도 시험했다. 이 경우 확률이 0이나 1에 가깝게 쏠려 보정이 나빠지므로, 확률을 40~60% 범위로 잘랐더니 결과가 더 안정적이었고, 자르지 않으면 RL-CAI 모델이 더 극단적인 응답을 내도록 학습되었다.[1]
| 항목 | 값[1] |
|---|---|
| 실험 모델 크기 | 주요 결과는 520억 매개변수 모델 |
| 원칙 수 | 지도 학습용 16개, 강화 학습 피드백용 16개(수정 단계와 비교 레이블마다 무작위로 하나씩 뽑음) |
| 레드팀 프롬프트 | 사람이 쓴 42,496개 + 모델이 생성한 140,335개 = 182,831개, 프롬프트당 비판·수정 4회 |
| 도움됨 프롬프트 | 사람이 쓴 135,296개 |
| 선호 모델 데이터 | 사람의 도움됨 비교 135,296개 + 헌법으로 만든 무해성 비교 182,831개 |
| 강화 학습 추가 프롬프트 | 모델 생성 레드팀 491,142개, 도움됨 474,300개 |
원칙을 여러 개 두고 표본마다 무작위로 고르면, 원칙 하나만 쓸 때보다 선호 모델이 더 견고했다.[1]
- RL-CAI 모델은 같은 도움됨 수준에서 사람 피드백으로 무해성을 학습한 RLHF 모델보다 무해했고, 회피성 답변이 적었다.
- 언어 모델이 객관식으로 해로움을 판별하는 능력은 모델이 커질수록 좋아졌고 연쇄적 사고가 이를 높였다. 논문은 520억보다 큰 모델이면 사람 피드백으로 학습한 선호 모델과 경쟁할 수 있다고 전망했다.[1]
- 구글 연구진은 2023년 요약, 도움되는 대화, 무해한 대화 과제에서 RLAIF가 RLHF와 비슷한 성능을 내며, AI 평가자가 정책 모델과 같은 크기이거나 같은 체크포인트여도 SFT보다 낫다고 보고했다. 보상 모델 학습 없이 강화 학습 중 LLM에게 직접 점수를 받는 d-RLAIF도 제안했다.[2]
앤트로픽은 2023년 5월 9일 클로드 학습에 쓴 헌법을 공개했다. 원칙의 출처는 유엔 세계 인권 선언, 애플 서비스 약관 같은 플랫폼 지침, 딥마인드의 Sparrow 원칙 등 다른 연구소의 원칙, 비서구권 관점을 반영하려는 원칙, 앤트로픽 자체 연구에서 효과가 있던 원칙이었다.[3] 원칙은 "가능한 한 무해하고 윤리적인 조수 응답을 골라라" 같은 비교 지시문 형태였다.
2026년 1월 앤트로픽은 새 헌법을 공개했다. 이전 헌법이 독립된 원칙의 목록이었던 데 비해, 새 헌법은 규칙을 기계적으로 따르기보다 새로운 상황에 원칙을 적용할 수 있도록 왜 그렇게 행동해야 하는지를 설명하는 데 중점을 두었다. 전문을 CC0 1.0으로 공개했다.[4] 가치가 충돌할 때의 우선순위는 다음과 같다.
- 폭넓은 안전(broadly safe): 현재 개발 단계에서 AI에 대한 적절한 사람의 감독을 훼손하지 않는다.
- 폭넓은 윤리(broadly ethical): 정직하고, 좋은 가치에 따라 행동하며, 해로운 행동을 피한다.
- 앤트로픽 지침 준수.
- 운영자와 사용자에게 실제로 도움이 됨.
안전을 윤리보다 앞에 둔 이유는 안전이 궁극적으로 더 중요해서가 아니라 현재의 모델이 실수할 수 있기 때문이라고 설명했다. 헌법은 학습의 여러 단계에 쓰이며, 클로드가 헌법을 이용해 헌법 학습용 자료, 관련 대화, 가치에 맞는 응답, 응답 순위 같은 합성 학습 데이터를 만든다고 밝혔다.[4]
| 연구 | 연도 | 내용 |
|---|---|---|
| 구체 원칙과 일반 원칙[5] | 2023 | "인류에게 가장 좋은 일을 하라"는 원칙 하나만으로도 가장 큰 대화 모델은 권력이나 자기 보존 욕구를 드러내지 않는 무해한 조수로 일반화했다. 다만 세부 원칙이 있으면 특정 해악을 더 정밀하게 통제할 수 있었다 |
| 집단 헌법 AI[6][7] | 2023~2024 | 미국 성인 약 1,000명이 온라인 숙의 도구 Polis에서 진술 1,127개를 내고 38,252표를 던져 헌법을 만들었다. 앤트로픽 헌법과 개념이 약 50% 겹쳤고, 이 헌법으로 학습한 모델은 언어·수학·도움됨·무해성 평가는 비슷하면서 BBQ의 9개 사회적 차원에서 편향이 더 낮았다 |
| 헌법 분류기[8] | 2025 | 허용·제한 내용을 자연어 규칙(헌법)으로 쓰고, 이를 바탕으로 LLM이 만든 합성 데이터로 입출력 분류기를 학습해 범용 탈옥을 막았다. 약 3,000시간의 레드팀에서 범용 탈옥이 발견되지 않았고, 실제 트래픽 거절률은 절대값 0.38%p, 추론 비용은 23.7% 늘었다 |
| 숙의 정렬(OpenAI)[9] | 2024 | 안전 명세 자체를 모델에 가르치고 답하기 전에 명세를 떠올려 추론하게 했다. 사람이 쓴 사고 과정이나 답 없이 o 시리즈 모델을 정렬했다고 밝혔다. 원칙 문서를 학습 신호로 쓴다는 점에서 헌법 AI와 통한다 |
| 항목 | RLHF | 헌법 AI |
|---|---|---|
| 무해성 레이블 | 사람이 비교 | AI가 원칙에 따라 비교 |
| 도움됨 레이블 | 사람 | 사람(원 논문 기준) |
| 사람의 역할 | 대량의 비교 작업 | 원칙 작성, 퓨샷 예시 작성, 평가 |
| 지도 학습 데이터 | 사람이 쓴 모범 답안 | 모델이 비판·수정한 응답 |
| 투명성 | 기준이 평가 지침과 평가자 판단에 흩어져 있음 | 원칙이 문서로 드러남 |
| 위험 | 평가자 편향, 비용 | 피드백 모델의 편향과 오류가 그대로 전이, 원칙 선정의 정당성 문제 |
원칙을 공개해도 그 원칙을 누가 정하는지는 여전히 남는 문제다. 집단 헌법 AI는 이 질문에 공론 절차로 답해 보려는 시도다.[6]
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Yuntao Bai 외, 〈Constitutional AI: Harmlessness from AI Feedback〉, 2022. arXiv:2212.08073
- ↑ Harrison Lee 외, 〈RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback〉, ICML 2024. arXiv:2309.00267
- ↑ Claude's Constitution, 앤트로픽, 2023-05-09.
- ↑ 4.0 4.1 Claude's new constitution, 앤트로픽, 2026-01. 전문: anthropic.com/constitution
- ↑ Sandipan Kundu 외, 〈Specific versus General Principles for Constitutional AI〉, 2023. arXiv:2310.13798
- ↑ 6.0 6.1 Saffron Huang 외, 〈Collective Constitutional AI: Aligning a Language Model with Public Input〉, FAccT 2024. arXiv:2406.07814
- ↑ Collective Constitutional AI: Aligning a Language Model with Public Input, 앤트로픽, 2023-10-17.
- ↑ Mrinank Sharma 외, 〈Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming〉, 2025. arXiv:2501.18837
- ↑ Melody Y. Guan 외, 〈Deliberative Alignment: Reasoning Enables Safer Language Models〉, 2024. arXiv:2412.16339