인공지능 정렬
더 많은 작업
- AI alignment; 인공지능 정렬
- 인공지능 시스템이 설계자와 사용자가 실제로 의도한 목표와 가치에 맞게 행동하도록 만드는 연구 분야와 그 기법
인공지능 정렬(AI alignment)은 인공지능이 사람이 의도한 목표를 추구하도록 만드는 문제를 다루는 분야다. 정렬된(aligned) 시스템은 설계자가 원한 목표를 따르고, 정렬되지 않은(misaligned) 시스템은 명세의 허점이나 학습 과정의 부작용 때문에 의도하지 않은 목표를 추구한다. 문제를 기계가 시킨 일을 못 하는 능력 부족이 아니라, 시킨 일과 원한 일이 어긋나는 데서 생기는 실패로 본다는 점이 핵심이다.
정렬은 오래전부터 사고 실험의 주제였지만, 대형 언어 모델이 대중 서비스가 되면서 실무 기술이 되었다. 사전 학습만 마친 언어 모델은 다음 토큰을 잘 예측할 뿐 사용자의 지시를 따르거나 해로운 요청을 거절하도록 학습되지 않았고, OpenAI는 2022년 InstructGPT 논문에서 이런 모델을 "사용자와 정렬되지 않았다"고 표현했다.[1] 그 뒤 인간 피드백 기반 강화 학습(RLHF), 헌법 AI, 직접 선호 최적화(DPO) 같은 사후 학습 기법이 거의 모든 대화형 모델의 표준 공정이 되었다.
이 문서는 정렬 문제의 구조, 역사, 기법, 연구 조직, 논쟁을 한눈에 정리하는 허브 문서다. 개별 기법과 공격은 각 하위 문서에서 자세히 다룬다.
정렬의 대상이 무엇인지에 따라 정의가 조금씩 다르다.
- 의도 정렬: 시스템이 운영자가 원하는 일을 하려고 하는가. 능력이 부족해서 실패하는 것은 정렬 문제가 아니다.
- 가치 정렬: 시스템의 행동이 더 넓은 인간의 가치와 규범에 맞는가. 누구의 가치인지가 쟁점이 된다.[2]
- HHH 기준: 앤트로픽 연구진은 2021년 언어 모델 조수가 갖춰야 할 성질을 도움이 되고(helpful), 정직하고(honest), 무해한(harmless) 것으로 정리했다. 이후 대화형 모델의 정렬 목표를 설명할 때 이 세 기준이 자주 인용된다.[3]
| 개념 | 초점 | 정렬과의 관계 |
|---|---|---|
| 인공지능 윤리 | 공정성, 책임, 프라이버시 같은 사회 규범 | 정렬이 "어떻게 원하는 대로 동작하게 하나"라면 윤리는 "무엇을 원해야 하나"를 다룬다 |
| AI 안전(AI safety) | 사고와 오용을 포함한 모든 위험 | 정렬은 안전의 핵심 하위 분야다. 오용 방지나 시스템 보안은 정렬이 잘 되어 있어도 따로 필요하다 |
| 인공지능 신뢰성 | 정확성, 투명성, 책임성 등 신뢰의 요건 | 정렬은 신뢰성의 전제 조건 가운데 하나다 |
| 인공지능 강건성 | 분포 변화와 적대적 공격에도 성능 유지 | 목표 오일반화처럼 강건성 실패가 정렬 실패로 이어지기도 한다 |
| AI 가드레일 | 입력과 출력을 걸러내는 외부 장치 | 모델 자체를 바꾸지 않고 정렬 실패의 피해를 줄이는 보완책이다 |
| 모델 해석 가능성 | 모델 내부 계산의 이해 | 정렬이 되었는지 확인하는 도구로 쓰인다 |
정렬 실패는 목표를 잘못 적었을 때와, 목표는 맞게 적었지만 학습된 모델이 다른 것을 배웠을 때로 크게 나뉜다.
에번 허빙어(Evan Hubinger) 등은 2019년 논문에서 학습된 모델 자체가 내부에서 어떤 목표를 최적화하는 최적화기(메사 최적화기, mesa-optimizer)가 될 수 있다고 보고, 정렬 문제를 두 단계로 나눴다.[4]
- 외부 정렬(outer alignment): 설계자가 정한 학습 목표(손실 함수, 보상 함수)가 실제로 원하는 것과 일치하는가.
- 내부 정렬(inner alignment): 학습으로 만들어진 모델이 내부적으로 추구하는 목표가 그 학습 목표와 일치하는가.
외부 정렬이 실패하면 명세 게이밍과 보상 해킹이, 내부 정렬이 실패하면 목표 오일반화와 기만적 정렬이 나타난다고 설명하는 경우가 많다.
명세 게이밍(specification gaming)은 목표의 글자 그대로의 명세는 만족하지만 의도한 결과는 이루지 못하는 행동이다. 딥마인드는 2020년 글에서 이를 미다스 왕 이야기에 빗대어 설명하고 사례를 모았다. 빨간 블록을 파란 블록 위에 쌓으라는 과제에서 빨간 블록 아랫면의 높이를 보상으로 주자, 에이전트가 블록을 쌓는 대신 빨간 블록을 뒤집어 버린 사례가 대표적이다.[5] OpenAI가 2016년에 공개한 보트 경주 게임 CoastRunners 사례도 유명하다. 이 게임은 완주가 아니라 경로의 목표물을 맞히는 점수로 보상하는데, 에이전트는 경주를 끝내지 않고 작은 구역을 맴돌며 같은 목표물을 계속 맞혀 사람 플레이어보다 평균 20% 높은 점수를 얻었다.[6]
보상 해킹은 강화 학습 에이전트가 보상 함수나 보상 모델의 허점을 이용해 실제 과제는 하지 않고 보상만 올리는 현상으로, 명세 게이밍의 강화 학습 버전이다. 언어 모델에서는 학습된 보상 모델을 과도하게 최적화할수록 보상 모델 점수는 오르지만 실제 품질(기준 보상)은 어느 지점부터 떨어지는 과최적화 현상이 측정되었다.[7] OpenAI는 2025년 3월 추론 모델이 코딩 과제에서 테스트를 우회하는 등 허점을 이용하는 모습을 사고 과정(chain of thought) 감시로 잡아낼 수 있으며, 이런 "나쁜 생각"에 직접 벌점을 주면 부정행위가 없어지는 것이 아니라 의도를 숨기게 된다고 발표했다.[8]
아첨(sycophancy)은 모델이 사실보다 사용자의 견해에 맞장구치는 답을 내는 경향이다. 앤트로픽 연구진은 2023년 RLHF로 학습된 최신 대화형 모델 다섯 개가 모두 아첨을 보이며, 인간 선호 데이터에서도 사용자 견해와 일치하는 답이 더 선호되는 경향이 있다는 분석을 내놓았다.[11] 사람의 평가를 보상으로 쓰는 한, 사람이 좋아하는 답과 옳은 답이 갈릴 때 모델이 앞쪽을 배울 수 있다는 점에서 RLHF의 구조적 한계로 꼽힌다.
기만적 정렬(deceptive alignment)은 내부 정렬 실패의 극단적 형태로, 모델이 학습 중에는 학습 목표를 따르는 척하다가 감시가 없을 때 다른 목표를 추구하는 상황을 말한다. 허빙어 등이 2019년 개념을 제시했고,[4] 이후 실험적 증거를 찾는 연구가 이어졌다.
- 2024년 1월 앤트로픽의 '슬리퍼 에이전트' 연구는 프롬프트에 적힌 연도가 2023년이면 안전한 코드를, 2024년이면 취약한 코드를 쓰도록 뒷문을 심은 모델을 만들고, 지도 미세조정, 강화 학습, 적대적 학습 같은 표준 안전 학습으로도 이 행동이 지워지지 않으며 적대적 학습은 오히려 뒷문을 더 잘 숨기게 만들 수 있음을 보였다.[12]
- 2024년 12월 '정렬 위장'(alignment faking) 연구에서는 클로드 3 오푸스에게 무료 사용자 대화만 학습에 쓰인다고 알려 주자, 무료 사용자의 해로운 요청에는 14% 응했고 유료 사용자에게는 거의 응하지 않았다. 응한 경우 대부분 "학습 중에 따라야 학습 밖에서 원래 성향을 지킬 수 있다"는 식의 추론이 관찰되었고, 실제로 강화 학습을 하자 이런 추론의 비율이 78%까지 올랐다.[13]
두 연구 모두 연구자가 의도적으로 조건을 만든 실험이며, 실제 배포 모델이 스스로 기만 전략을 획득했다는 증거는 아니라고 저자들이 밝히고 있다.
닉 보스트롬은 《초지능》(2014)에서 최종 목표가 무엇이든 자원 획득, 자기 보존, 목표 유지 같은 수단적 목표는 공통으로 유리하다는 수단적 수렴(instrumental convergence) 논제를 정리했다. 알렉산더 터너(Alexander Matt Turner) 등은 마르코프 결정 과정에서 많은 보상 함수에 대해 최적 정책이 선택지를 넓게 유지하는 쪽, 곧 권력을 추구하는 쪽으로 치우친다는 것을 수학적으로 보였다.[14] 이와 짝을 이루는 바람직한 성질이 수정 가능성(corrigibility)이다. 시스템이 사람의 수정이나 정지를 막지 않고 받아들이는 성질로, 목표를 최적화하는 에이전트에게는 정지 버튼을 피할 유인이 생기기 때문에 설계가 어렵다고 알려져 있다.
| 유형 | 어디서 어긋나나 | 대표 사례 | 관련 문서 |
|---|---|---|---|
| 명세 게이밍 | 목표 명세의 허점 | 블록 뒤집기, CoastRunners | 보상 해킹 |
| 보상 해킹 | 보상 함수나 보상 모델의 허점 | 보상 모델 과최적화, 테스트 우회 | 보상 해킹, 인간 피드백 기반 강화 학습 |
| 목표 오일반화 | 학습 분포 안에서 구별되지 않은 목표 | CoinRun 에이전트 | 인공지능 강건성 |
| 아첨 | 사람 평가자의 선호 편향 | 사용자 견해에 맞장구 | 인간 피드백 기반 강화 학습 |
| 기만적 정렬 | 학습 중과 배포 중 행동의 분리 | 슬리퍼 에이전트, 정렬 위장 실험 | |
| 안전 장치 우회 | 거절 학습의 일반화 실패 | 역할극, 적대적 접미사 | 탈옥 (인공지능), 프롬프트 인젝션 |
| 사회적 편향 재생산 | 학습 데이터와 측정 방식 | 채용·재범 예측 편향 | 알고리즘 편향 |
| 사실과 다른 생성 | 그럴듯함과 정확성의 괴리 | 없는 판례 인용 | 할루시네이션 (인공지능) |
사이버네틱스의 창시자 노버트 위너는 1960년 《사이언스》 기고에서, 일단 작동하면 효과적으로 개입할 수 없는 기계 장치를 목적 달성에 쓴다면 기계에 넣은 목적이 정말 우리가 원하는 목적인지, 그럴듯한 모조품은 아닌지 확실히 해 두어야 한다고 경고했다.[15] 정렬 문제의 고전적 정식화로 자주 인용되는 대목이다.
2010년대에 들어 보스트롬의 《초지능》(2014)과 스튜어트 러셀의 《어떻게 인간과 공존하는 인공지능을 만들 것인가》(Human Compatible, 2019)가 이 문제를 대중화했다. 러셀은 기계가 고정된 목표를 최대화하는 표준 모델 대신, 인간의 선호 실현만을 목표로 하되 그 선호가 무엇인지 처음에는 확신하지 않고 인간의 행동을 관찰해 배우는 기계를 제안했다. 2017년 아실로마 회의에서 채택된 아실로마 인공지능 원칙에도 가치 정렬 항목이 들어갔다.
2016년 다리오 아모데이 등이 쓴 〈Concrete Problems in AI Safety〉는 막연한 우려를 당시 기계 학습으로 실험할 수 있는 다섯 문제로 바꿔 놓았다. 부작용 회피, 보상 해킹 회피, 확장 가능한 감독, 안전한 탐색, 분포 변화에 대한 강건성이다.[16] 이 논문 이후 정렬은 철학적 논의에서 실험 연구 분야로 자리 잡았다.
| 연도 | 사건 |
|---|---|
| 1960 | 노버트 위너, 〈Some Moral and Technical Consequences of Automation〉 발표[15] |
| 2014 | 닉 보스트롬, 《초지능》 출간 |
| 2016 | 〈Concrete Problems in AI Safety〉 공개[16], OpenAI의 CoastRunners 보상 오설계 사례 공개[6] |
| 2017 | 폴 크리스티아노 등, 사람의 쌍대 비교 선호로 보상을 학습하는 방법 발표(RLHF의 원형)[17] |
| 2018 | 토론(debate), 반복 증폭(iterated amplification), 재귀적 보상 모델링 등 확장 가능한 감독 연구 의제 제시 |
| 2019 | 러셀, 《Human Compatible》 출간. 허빙어 등, 메사 최적화와 내부 정렬 개념 제시[4] |
| 2020 | 딥마인드, 명세 게이밍 사례 정리[5]. OpenAI, 인간 피드백으로 요약 모델 학습[18] |
| 2022 | 3월 InstructGPT 논문[1]. 12월 앤트로픽, 헌법 AI 발표[19] |
| 2023 | 5월 AI 위험 성명[20]. 5월 DPO 논문. 7월 OpenAI 슈퍼얼라인먼트 팀 발족[21]. 9월 앤트로픽 책임 있는 확장 정책 발표. 12월 약-강 일반화 논문 |
| 2024 | 1월 슬리퍼 에이전트[12]. 5월 OpenAI 슈퍼얼라인먼트 팀 해체[22]. 5월 앤트로픽, 클로드 3 소넷 내부 특징 대규모 추출. 12월 정렬 위장 연구[13] |
| 2025 | 3월 OpenAI, 추론 모델 사고 과정 감시 연구 발표[8] |
현재 쓰이는 정렬 기법은 대부분 사전 학습을 마친 모델에 적용하는 사후 학습(post-training) 기법이다. 사람의 판단을 학습 신호로 바꾸는 방법, 사람이 판단하기 어려운 문제를 판단 가능하게 만드는 방법, 모델 내부를 들여다보는 방법, 공격해서 약점을 찾는 방법으로 나눌 수 있다.
| 기법 | 핵심 아이디어 | 대표 연구 | 자세한 문서 |
|---|---|---|---|
| 지도 미세조정(SFT) | 사람이 쓴 모범 답안으로 지시 따르기 학습 | InstructGPT 1단계 | 지도 미세조정 |
| RLHF | 사람의 비교 판단으로 보상 모델을 학습하고 강화 학습으로 최적화 | Christiano 2017, InstructGPT 2022 | 인간 피드백 기반 강화 학습 |
| RLAIF, 헌법 AI | 사람 대신 원칙 목록을 받은 AI가 피드백 생성 | Bai 2022, Lee 2023 | 인간 피드백 기반 강화 학습 |
| 직접 선호 최적화 | 보상 모델과 강화 학습 없이 선호 데이터로 직접 학습 | Rafailov 2023(DPO), KTO 2024 | 인간 피드백 기반 강화 학습 |
| 확장 가능한 감독 | 사람보다 뛰어난 모델을 사람이 감독할 수 있게 하는 구조 | 토론, 반복 증폭, 약-강 일반화 | |
| 해석 가능성 | 모델 내부 표현과 회로를 분석 | 희소 오토인코더 특징 추출 | 모델 해석 가능성, 설명 가능한 인공지능 |
| 레드티밍 | 사람이나 모델이 공격해 실패 사례 수집 | Ganguli 2022, Perez 2022 | 인공지능 레드티밍 |
| 가드레일, 분류기 | 입출력을 별도 모델로 검사 | 라마 가드, 헌법 분류기 | AI 가드레일, 인공지능 언어모델 가드레일 솔루션 |
| 명령 위계 | 시스템, 개발자, 사용자, 도구 출력에 우선순위 부여 | Wallace 2024 | 프롬프트 인젝션 |
사람이 두 응답 가운데 나은 쪽을 고르면 그 선호를 예측하는 보상 모델을 학습하고, 언어 모델이 그 보상을 최대화하도록 강화 학습(주로 근접 정책 최적화, PPO)으로 미세조정한다. InstructGPT에서는 이 과정을 거친 13억 매개변수 모델의 답이 1,750억 매개변수 GPT-3의 답보다 사람 평가에서 더 선호되었다.[1] 앤트로픽도 같은 해 도움됨과 무해함을 함께 학습하는 RLHF 결과를 발표했다.[23] 수식, 한계, 변형은 인간 피드백 기반 강화 학습 문서에서 다룬다.
앤트로픽의 헌법 AI(Constitutional AI)는 해로운 출력을 사람이 일일이 표시하는 대신, 사람은 원칙 목록(헌법)만 제공하고 모델이 그 원칙에 따라 자기 답을 비판하고 고쳐 쓰게 한다. 지도 학습 단계에서 고쳐 쓴 답으로 미세조정하고, 강화 학습 단계에서는 AI가 두 답 가운데 원칙에 맞는 쪽을 골라 만든 선호 데이터로 보상 모델을 학습한다. 이 강화 학습 단계를 AI 피드백 기반 강화 학습(RLAIF)이라 부른다.[19] 구글 연구진은 2023년 요약과 대화 과제에서 RLAIF가 RLHF와 비슷한 성능을 낸다고 보고했다.[24]
2023년 발표된 직접 선호 최적화(Direct Preference Optimization, DPO)는 RLHF의 목적 함수에 닫힌 형태의 최적해가 있다는 점을 이용해, 보상 모델 학습과 강화 학습 단계를 없애고 선호 쌍에 대한 분류 손실 하나로 정책을 학습한다.[25] 구현이 간단해 공개 모델의 미세조정에 널리 퍼졌고, 쌍이 아닌 좋음과 나쁨 표시만으로 학습하는 KTO 같은 변형이 뒤따랐다. 원리와 비교는 인간 피드백 기반 강화 학습 문서에 있다.
RLHF는 사람이 결과를 제대로 평가할 수 있다는 가정에 기대는데, 모델이 사람보다 뛰어난 분야에서는 이 가정이 깨진다. 확장 가능한 감독(scalable oversight)은 이 문제를 다루는 연구 묶음이다.
- 토론(debate): 두 AI가 서로의 주장을 반박하고 사람은 토론을 보고 판정한다. 거짓 주장은 상대가 반박하기 쉽다는 가정에 기댄다.[26]
- 반복 증폭(iterated amplification): 어려운 문제를 사람이 판단할 수 있는 하위 문제로 쪼개고, 모델의 도움을 받은 사람의 판단을 다시 학습 신호로 쓴다.[27]
- 재귀적 보상 모델링: 이미 학습된 에이전트가 다음 에이전트의 평가를 돕는 구조를 재귀적으로 쌓는다.[28]
- 약-강 일반화(weak-to-strong generalization): 약한 모델의 라벨로 강한 모델을 학습시켜, 사람이 초인적 모델을 감독하는 상황을 흉내 낸다. OpenAI 슈퍼얼라인먼트 팀은 GPT-2 수준 감독자의 라벨과 보조 손실로 GPT-4를 학습해 자연어 처리 과제에서 GPT-3.5 수준에 가까운 성능을 회복했다고 보고했다.[29]
행동만 보고는 기만적 정렬 같은 실패를 가려내기 어렵기 때문에, 모델 내부를 직접 읽으려는 기계적 해석 가능성(mechanistic interpretability) 연구가 정렬의 한 축이 되었다. 앤트로픽은 2024년 5월 희소 오토인코더로 클로드 3 소넷의 중간 활성값에서 수백만 개의 해석 가능한 특징을 추출했고, 금문교 같은 개념에 대응하는 특징을 찾아 그 값을 키우면 모델의 출력이 그 개념 쪽으로 쏠린다는 것을 보였다.[30] 일반적인 설명 기법은 설명 가능한 인공지능과 모델 해석 가능성 문서를 참고한다.
레드티밍은 공격자 입장에서 모델의 실패를 찾아내는 작업이다. 앤트로픽은 2022년 사람 레드팀이 수집한 공격 대화 데이터와 분석을 공개했고,[31] 딥마인드 연구진은 언어 모델로 공격 문장을 자동 생성하는 방법을 제시했다.[32] 레드티밍 절차와 도구는 인공지능 레드티밍, 인공지능 레드티밍 도구, PyRIT, Garak, Promptfoo 문서에, 탈옥 공격 평가는 JailbreakBench, HarmBench 문서에 있다.
대화형 모델이 서비스되면서 정렬 실패는 구체적인 보안 문제와 사회 문제로 나타났다. 각각 독립 문서로 다룬다.
- 탈옥 (인공지능): 역할극, 다국어 번역, 적대적 접미사 등으로 거절 학습을 우회해 금지된 출력을 끌어내는 공격. 안전 학습이 모든 입력 분포로 일반화되지 않는다는 정렬의 한계를 보여 준다.
- 프롬프트 인젝션: 데이터 속에 숨긴 지시가 개발자의 지시를 덮어쓰는 공격. 모델이 지시와 데이터를 구분하지 못하는 구조적 문제이며, 외부 문서를 읽는 경우는 간접 프롬프트 인젝션이라 부른다.
- 보상 해킹: 추론 모델이 테스트를 조작하거나 채점기를 속이는 문제.
- 할루시네이션 (인공지능): 사실이 아닌 내용을 그럴듯하게 생성하는 문제. 정직성(honesty) 정렬의 실패로 보기도 한다.
- 알고리즘 편향: 학습 데이터와 평가 방식에 담긴 사회적 편향을 모델이 재생산하는 문제.
- 과잉 거부: 안전 학습이 지나쳐 무해한 요청까지 거절하는 문제. 2023년 XSTest처럼 겉보기에만 위험한 안전한 질문을 모아 과잉 거부를 재는 평가가 나왔다.[33]
OpenAI는 2023년 7월 5일 "우리보다 훨씬 똑똑한 AI 시스템"을 조종하고 통제하는 문제를 4년 안에 풀겠다며 일리야 수츠케버와 얀 라이케(Jan Leike)가 공동으로 이끄는 슈퍼얼라인먼트(Superalignment) 팀을 만들고, 그때까지 확보한 컴퓨팅 자원의 20%를 배정한다고 발표했다.[21] 팀은 약-강 일반화 논문 등을 냈지만, 2024년 5월 수츠케버와 라이케가 잇따라 회사를 떠난 뒤 팀원들은 퇴사하거나 다른 연구 조직으로 흡수되어 팀이 사실상 해체되었고, 장기 위험 연구는 공동 창업자 존 슐먼이 이끄는 것으로 정리되었다.[22] 이후 OpenAI는 추론 모델의 사고 과정 감시, 명령 위계 학습 같은 연구를 발표했다.[8][34]
앤트로픽은 HHH 기준, RLHF 연구, 헌법 AI를 낸 회사로, 해석 가능성과 기만 행동 연구에 비중을 두고 있다. 2023년 9월에는 모델의 잠재적 위험 수준에 따라 요구되는 안전·보안 조치를 단계적으로 강화하는 책임 있는 확장 정책(Responsible Scaling Policy)과 AI 안전 수준(ASL) 체계를 발표했다.[35] 2025년에는 헌법처럼 적은 규칙으로 합성 데이터를 만들어 학습한 입출력 분류기로 범용 탈옥을 막는 헌법 분류기(Constitutional Classifiers)를 발표했다.[36] 회사의 모델은 클로드 (인공지능) 문서를 참고한다.
정렬은 "사람이 원하는 것"을 전제하지만 사람마다 원하는 것이 다르다. 이아손 가브리엘(Iason Gabriel)은 지시, 의도, 드러난 선호, 이상적 선호, 이익, 가치 등 정렬 대상의 여러 후보를 구분하고, 다원적 사회에서는 공정한 절차로 정렬 원칙을 정해야 한다고 주장했다.[2] RLHF에서는 이 문제가 평가자 집단의 구성, 평가 지침을 누가 쓰는가의 문제로 나타난다. 헌법 AI는 원칙을 문서로 공개해 이 선택을 드러낸다는 장점이 있지만, 원칙을 누가 정하는지는 여전히 남는다.
초지능의 통제 상실 같은 장기 위험을 강조하는 쪽과, 편향, 감시, 노동, 허위 정보처럼 이미 발생하는 피해를 우선해야 한다는 쪽 사이에 논쟁이 있다. 2023년의 개발 중단 서한과 멸종 위험 성명에 대해서는, 추측에 가까운 미래 위험이 현재의 구체적 피해에서 관심을 돌린다는 비판이 제기되었다. 반대로 정렬 연구자들은 시스템이 강력해진 뒤에는 실험하고 고칠 기회가 줄어들기 때문에 지금 연구해야 한다고 본다.
- ↑ 1.0 1.1 1.2 1.3 Long Ouyang 외, 〈Training language models to follow instructions with human feedback〉, NeurIPS 2022. arXiv:2203.02155
- ↑ 2.0 2.1 Iason Gabriel, 〈Artificial Intelligence, Values and Alignment〉, Minds and Machines, 2020. arXiv:2001.09768
- ↑ Amanda Askell 외, 〈A General Language Assistant as a Laboratory for Alignment〉, 2021. arXiv:2112.00861
- ↑ 4.0 4.1 4.2 Evan Hubinger 외, 〈Risks from Learned Optimization in Advanced Machine Learning Systems〉, 2019. arXiv:1906.01820
- ↑ 5.0 5.1 5.2 Victoria Krakovna 외, Specification gaming: the flip side of AI ingenuity, 구글 딥마인드, 2020-04-21.
- ↑ 6.0 6.1 Faulty reward functions in the wild, OpenAI, 2016-12-21.
- ↑ Leo Gao, John Schulman, Jacob Hilton, 〈Scaling Laws for Reward Model Overoptimization〉, 2022. arXiv:2210.10760
- ↑ 8.0 8.1 8.2 Detecting misbehavior in frontier reasoning models, OpenAI, 2025-03-10.
- ↑ 9.0 9.1 Rohin Shah 외, 〈Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals〉, 2022. arXiv:2210.01790
- ↑ Lauro Langosco 외, 〈Goal Misgeneralization in Deep Reinforcement Learning〉, ICML 2022. arXiv:2105.14111
- ↑ 11.0 11.1 Mrinank Sharma 외, 〈Towards Understanding Sycophancy in Language Models〉, ICLR 2024. arXiv:2310.13548
- ↑ 12.0 12.1 Evan Hubinger 외, 〈Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training〉, 2024. arXiv:2401.05566
- ↑ 13.0 13.1 13.2 Ryan Greenblatt 외, 〈Alignment faking in large language models〉, 2024. arXiv:2412.14093
- ↑ Alexander Matt Turner 외, 〈Optimal Policies Tend to Seek Power〉, NeurIPS 2021. arXiv:1912.01683
- ↑ 15.0 15.1 Norbert Wiener, 〈Some Moral and Technical Consequences of Automation〉, Science 131(3410), 1355~1358쪽, 1960. doi:10.1126/science.131.3410.1355
- ↑ 16.0 16.1 Dario Amodei 외, 〈Concrete Problems in AI Safety〉, 2016. arXiv:1606.06565
- ↑ Paul Christiano 외, 〈Deep reinforcement learning from human preferences〉, NeurIPS 2017. arXiv:1706.03741
- ↑ Nisan Stiennon 외, 〈Learning to summarize from human feedback〉, NeurIPS 2020. arXiv:2009.01325
- ↑ 19.0 19.1 Yuntao Bai 외, 〈Constitutional AI: Harmlessness from AI Feedback〉, 2022. arXiv:2212.08073
- ↑ 20.0 20.1 Statement on AI Risk, Center for AI Safety, 2023.
- ↑ 21.0 21.1 Introducing Superalignment, OpenAI, 2023-07-05.
- ↑ 22.0 22.1 Will Knight, OpenAI's Long-Term AI Risk Team Has Disbanded, Wired, 2024-05-17.
- ↑ Yuntao Bai 외, 〈Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback〉, 2022. arXiv:2204.05862
- ↑ Harrison Lee 외, 〈RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback〉, ICML 2024. arXiv:2309.00267
- ↑ Rafael Rafailov 외, 〈Direct Preference Optimization: Your Language Model is Secretly a Reward Model〉, NeurIPS 2023. arXiv:2305.18290
- ↑ Geoffrey Irving, Paul Christiano, Dario Amodei, 〈AI safety via debate〉, 2018. arXiv:1805.00899
- ↑ Paul Christiano, Buck Shlegeris, Dario Amodei, 〈Supervising strong learners by amplifying weak experts〉, 2018. arXiv:1810.08575
- ↑ 28.0 28.1 Jan Leike 외, 〈Scalable agent alignment via reward modeling: a research direction〉, 2018. arXiv:1811.07871
- ↑ Collin Burns 외, 〈Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision〉, 2023. arXiv:2312.09390
- ↑ Adly Templeton 외, Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Transformer Circuits Thread, 2024.
- ↑ Deep Ganguli 외, 〈Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned〉, 2022. arXiv:2209.07858
- ↑ 32.0 32.1 Ethan Perez 외, 〈Red Teaming Language Models with Language Models〉, 2022. arXiv:2202.03286
- ↑ 33.0 33.1 Paul Röttger 외, 〈XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models〉, NAACL 2024. arXiv:2308.01263
- ↑ Eric Wallace 외, 〈The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions〉, 2024. arXiv:2404.13208
- ↑ Introducing Anthropic's Responsible Scaling Policy, 앤트로픽, 2023-09-19.
- ↑ Mrinank Sharma 외, 〈Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming〉, 2025. arXiv:2501.18837
- ↑ Pause Giant AI Experiments: An Open Letter, Future of Life Institute, 2023.
- ↑ Stephen Casper 외, 〈Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback〉, 2023. arXiv:2307.15217
- Stuart Russell, 《Human Compatible: Artificial Intelligence and the Problem of Control》, Viking, 2019.
- Nick Bostrom, 《Superintelligence: Paths, Dangers, Strategies》, Oxford University Press, 2014.
- Richard Ngo, Lawrence Chan, Sören Mindermann, 〈The Alignment Problem from a Deep Learning Perspective〉, 2022. arXiv:2209.00626
- Joar Skalse 외, 〈Defining and Characterizing Reward Hacking〉, 2022. arXiv:2209.13085