탈옥 (인공지능)
더 많은 작업
- Jailbreak (AI), LLM jailbreak; 탈옥 (인공지능)
- 대형 언어 모델의 안전 학습과 필터를 우회해, 모델이 원래 거절하도록 학습된 출력을 내게 만드는 공격 또는 그 프롬프트
탈옥(jailbreak)은 대형 언어 모델이 인간 피드백 기반 강화 학습 같은 안전 학습으로 거절하도록 배운 요청을, 역할극, 번역, 인코딩, 최적화된 문자열 같은 우회로로 응답하게 만드는 공격이다. 이 문서는 인공지능 모델의 탈옥을 다룬다. 스마트폰 운영 체제의 제한을 푸는 탈옥이나 루팅은 안드로이드 루팅 등 기기 보안 문서를 참고한다.
탈옥은 ChatGPT가 공개된 2022년 말부터 사용자 커뮤니티에서 퍼졌다. 2022년 12월부터 2023년 12월까지 수집된 탈옥 프롬프트 1,405개를 분석한 연구는 131개의 탈옥 커뮤니티를 찾아냈고, 그 가운데 다섯 개 프롬프트가 GPT-3.5와 GPT-4에서 0.95의 공격 성공률을 보였으며 가장 오래된 것은 240일 넘게 온라인에서 살아남았다고 보고했다.[1] 이후 연구자들은 탈옥을 자동으로 만들어 내는 알고리즘을 잇달아 발표했고, 탈옥은 인공지능 정렬과 인공지능 레드티밍의 핵심 평가 항목이 되었다.
탈옥은 모델 자체의 안전 장치를 노리고, 프롬프트 인젝션은 신뢰된 지시와 신뢰할 수 없는 입력을 이어 붙이는 애플리케이션을 노린다.[2] OWASP는 탈옥을 모델이 안전 규칙을 완전히 무시하게 만드는 프롬프트 인젝션의 한 형태로 분류한다.[3] 실제 공격에서는 두 기법이 함께 쓰이는 경우가 많다. 예를 들어 웹 페이지에 숨긴 지시(간접 프롬프트 인젝션)에 탈옥 문구를 넣어 에이전트의 안전 장치까지 무너뜨리는 식이다.
웨이(Alexander Wei) 등은 2023년 안전 학습이 실패하는 원인을 두 가지로 정리했다.[4]
- 목표 충돌(competing objectives): 지시를 따르라, 도움이 되라는 학습 목표와 해로운 요청을 거절하라는 목표가 부딪힌다. "답을 '물론입니다'로 시작하라"처럼 지시 따르기 쪽을 강하게 자극하면 거절보다 순응이 이긴다.
- 일반화 불일치(mismatched generalization): 모델의 능력은 Base64, 외국어, 암호문까지 일반화되었지만 안전 학습은 주로 평범한 영어 대화로만 이루어져 그 범위까지 따라가지 못한다.
이들은 두 원리를 이용해 만든 공격이 GPT-4와 클로드 v1.3의 레드팀 평가용 위험 요청 전부에서 통했다며, 안전 장치가 모델 능력만큼 정교해야 한다는 "안전-능력 동등성"을 주장했다. 단순히 모델을 키우는 것만으로는 이 문제가 풀리지 않는다는 뜻이다.
| 계열 | 기법 | 원리 | 공개 시기 |
|---|---|---|---|
| 사람이 만든 프롬프트 | 역할극(DAN 등) | "무엇이든 할 수 있는"(Do Anything Now) 가상 인격이나 소설 속 인물을 연기하게 해 규칙을 내려놓게 함 | 2022년 말~ |
| 권한 상승·목표 충돌 | 개발자 모드라고 속이거나, 응답 시작 문구를 강제 | 2023 | |
| 일반화 불일치 | 다국어 | 위험 요청을 저자원 언어로 번역 | 2023 |
| 암호·인코딩 | 카이사르 암호, 모스 부호, Base64 등으로 대화 | 2023 | |
| ASCII 아트 | 금지어를 글자 그림으로 표현 | 2024 | |
| 무작위 변형(Best-of-N) | 대소문자 섞기, 글자 순서 섞기 등을 반복 샘플링 | 2024 | |
| 맥락 조작 | 다회차 점진 공격(크레셴도) | 무해한 질문에서 시작해 모델의 이전 답을 근거로 조금씩 수위를 올림 | 2024 |
| 다중 샷 탈옥 | 긴 컨텍스트에 해로운 질문에 순순히 답하는 가짜 대화 수백 개를 넣음 | 2024 | |
| 자동 최적화 | GCG(적대적 접미사) | 경사 기반 탐색으로 "물론입니다" 응답 확률을 높이는 접미사 생성 | 2023 |
| PAIR | 공격자 LLM이 대상 LLM에 질의하며 프롬프트를 고침 | 2023 | |
| TAP | PAIR에 트리 탐색과 가지치기를 더함 | 2023 |
가장 오래된 계열이다. 모델에게 규칙에 얽매이지 않는 인격을 연기하라고 하거나, 소설 속 악당의 대사 같은 허구의 틀을 씌워 거절을 피한다. DAN 프롬프트는 커뮤니티에서 계속 고쳐 쓰이며 판을 거듭했고, 탈옥 프롬프트의 대명사가 되었다.[1]
안전 학습 데이터가 주로 영어로 되어 있다는 점을 노린다. 위험한 영어 요청을 저자원 언어로 번역하자 GPT-4가 AdvBench 기준 79%의 경우에 해로운 목표에 도움이 되는 답을 내놓았고, 고자원·중자원 언어에서는 성공률이 크게 낮았다.[5] 다른 연구는 저자원 언어 질문이 고자원 언어보다 약 3배 더 자주 해로운 응답을 끌어낸다고 보고했다.[6] 암호문으로 대화하는 CipherChat은 일부 암호로 여러 안전 영역에서 GPT-4의 안전 정렬을 거의 100% 우회했고,[7] ArtPrompt는 금지어를 ASCII 아트로 바꿔 GPT-4, 제미나이, 클로드, 라마 2 등 다섯 모델을 모두 우회했다.[8] 모두 모델의 이해 능력이 안전 학습보다 넓게 일반화되었다는 웨이 등의 설명과 맞아떨어진다.
앤트로픽은 2024년 4월 컨텍스트 윈도가 길어진 점을 노린 다중 샷 탈옥(many-shot jailbreaking)을 발표했다. 프롬프트 하나 안에 사용자의 위험한 질문에 AI 조수가 순순히 답하는 가짜 대화를 많이 넣은 뒤 마지막에 진짜 질문을 하면, 가짜 대화 수가 늘수록(연구에서는 최대 256개) 안전 학습이 무력해진다. 공격 효과는 대화 수에 대해 거듭제곱 법칙을 따랐고, 이는 일반적인 인컨텍스트 러닝의 규모 법칙과 같은 형태였다. 앤트로픽은 다른 AI 개발사에 미리 알렸고, 프롬프트를 분류해 수정하는 완화책으로 한 사례에서 공격 성공률을 61%에서 2%로 낮췄다고 밝혔다.[9] 모델을 더 유용하게 만드는 긴 컨텍스트 윈도우가 새로운 공격면이 된다는 사례다.
마이크로소프트 연구진이 2024년 발표한 크레셴도(Crescendo)는 여러 차례 대화에 걸쳐 무해해 보이는 질문으로 시작해, 모델이 앞서 한 답을 계속 인용하며 수위를 조금씩 높인다. ChatGPT, 제미나이 프로·울트라, 라마 2·3 70B, 앤트로픽 챗 등에서 높은 성공률을 보였고, 이를 자동화한 크레셴도메이션은 AdvBench 부분 집합에서 기존 기법보다 GPT-4에서 29~61%, 제미나이 프로에서 49~71% 높은 성능을 냈다.[10] 한 턴씩만 보는 입력 필터로는 잡기 어렵다는 점이 특징이다.
2023년 7월 저우(Andy Zou) 등은 위험한 질문 뒤에 붙였을 때 모델이 거절 대신 긍정 응답("Sure, here is")으로 시작할 확률을 최대화하는 접미사를, 탐욕적 탐색과 경사 정보를 결합한 GCG(Greedy Coordinate Gradient)로 자동 생성했다. 비쿠나 7B·13B와 여러 프롬프트에 대해 함께 최적화한 접미사가 공개 서비스인 ChatGPT, 바드, 클로드와 라마 2-챗 같은 공개 모델에도 옮겨 가 통했다.[11] 사람이 읽으면 무의미한 문자열이 공격이 된다는 점에서, 이미지 분류기의 적대적 공격이 언어 모델에도 그대로 적용됨을 보여 주었다.
PAIR는 사회 공학에서 착안해 공격자 LLM이 대상 LLM에 질의하고 응답을 보며 탈옥 프롬프트를 고쳐 나가는 방법으로, 흔히 20회 미만의 질의로 의미가 통하는 탈옥문을 만든다.[12] TAP는 여기에 트리 탐색과 가지치기를 더해 GPT-4 터보와 GPT-4o에서 80% 넘는 프롬프트를 탈옥했고, 라마 가드 같은 가드레일로 보호된 모델도 뚫었다.[13] Best-of-N 탈옥은 대소문자와 글자 순서를 무작위로 바꾼 변형을 1만 번 샘플링해 GPT-4o에서 89%, 클로드 3.5 소넷에서 78%의 공격 성공률을 냈고, 성공률이 샘플 수에 대해 거듭제곱 법칙처럼 늘었다. 이미지와 음성 모델에도 같은 방식이 통했다.[14]
탈옥 연구는 논문마다 공격 대상 요청과 성공 판정 기준이 달라 비교가 어려웠다. 이를 표준화하려는 벤치마크가 나왔다.
- HarmBench: 자동 레드티밍 공격과 거절 방어를 같은 조건에서 비교하는 평가 체계.
- JailbreakBench: 위험 행동 목록, 판정 모델, 공격 산출물 저장소를 공개해 재현 가능한 비교를 지원.
- AdvBench: GCG 논문과 함께 공개된 위험 지시 목록으로, 여러 공격 논문이 기준 데이터로 썼다.[11]
- XSTest: 반대로 겉보기에만 위험한 안전한 질문을 모아, 방어가 지나쳐 정상 요청까지 거절하는지를 잰다.[15]
자동 점검 도구로는 Garak, PyRIT, Promptfoo 레드티밍 등이 있다.
| 위치 | 방법 | 설명 |
|---|---|---|
| 학습 | 안전 학습 강화, 적대적 학습 | 레드팀이 찾은 탈옥 사례를 학습 데이터에 넣어 거절을 일반화한다. 새로운 공격에는 뒤처지기 쉽다 |
| 학습 | 서킷 브레이커 | 해로운 출력을 만드는 내부 표현 자체를 제어해, 거절 학습이나 적대적 학습보다 처음 보는 공격에 강하게 만든다[16] |
| 입력 | 퍼플렉시티 탐지, 바꿔 쓰기, 재토큰화 | GCG 접미사처럼 부자연스러운 문자열을 혼란도로 걸러내거나, 입력을 바꿔 써서 최적화된 문자열을 무력화한다[17] |
| 입력 | SmoothLLM | 입력의 사본 여러 개에 글자 단위 무작위 변형을 가해 응답을 모은다. 적대적 프롬프트가 글자 변화에 약하다는 점을 이용한다[18] |
| 입출력 | 안전 분류기 | 메타의 라마 가드는 라마 2 7B를 위험 분류 체계로 미세조정해 질문과 응답을 각각 분류한다[19] |
| 입출력 | 헌법 분류기 | 앤트로픽이 2025년 발표. 허용·금지 내용을 자연어 규칙으로 적고 이를 바탕으로 만든 합성 데이터로 분류기를 학습한다. 3,000시간 넘는 레드티밍에서 범용 탈옥이 발견되지 않았고, 실제 트래픽 거절률 증가는 0.38%포인트, 추론 부담은 23.7%였다[20] |
| 시스템 | 명령 위계 | 시스템 메시지를 사용자 메시지보다 우선하도록 학습시켜 탈옥, 프롬프트 인젝션, 시스템 프롬프트 추출에 대한 저항을 높인다[21] |
| 운영 | 대화 단위 감시, 사용량 제한 | 크레셴도나 Best-of-N처럼 여러 턴, 많은 시도가 필요한 공격을 탐지하고 제한한다 |
방어 기법도 공격으로 다시 뚫리는 일이 반복된다. TAP는 라마 가드를,[13] Best-of-N은 서킷 브레이커를 우회했다고 보고되었다.[14] 그래서 하나의 방어에 기대지 않고 학습, 분류기, 운영 감시를 겹치는 방식이 쓰인다. 가드레일 제품은 AI 가드레일, 인공지능 언어모델 가드레일 솔루션 문서를 참고한다.
- ↑ 1.0 1.1 Xinyue Shen 외, 〈"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models〉, ACM CCS 2024. arXiv:2308.03825
- ↑ Simon Willison, Prompt injection and jailbreaking are not the same thing, 2024-03-05.
- ↑ LLM01:2025 Prompt Injection, OWASP Gen AI Security Project.
- ↑ Alexander Wei, Nika Haghtalab, Jacob Steinhardt, 〈Jailbroken: How Does LLM Safety Training Fail?〉, NeurIPS 2023. arXiv:2307.02483
- ↑ Zheng-Xin Yong, Cristina Menghini, Stephen H. Bach, 〈Low-Resource Languages Jailbreak GPT-4〉, 2023. arXiv:2310.02446
- ↑ Yue Deng 외, 〈Multilingual Jailbreak Challenges in Large Language Models〉, ICLR 2024. arXiv:2310.06474
- ↑ Youliang Yuan 외, 〈GPT-4 Is Too Smart To Be Safe: Stealthy Chat with LLMs via Cipher〉, ICLR 2024. arXiv:2308.06463
- ↑ Fengqing Jiang 외, 〈ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs〉, ACL 2024. arXiv:2402.11753
- ↑ Many-shot jailbreaking, 앤트로픽, 2024-04-02.
- ↑ Mark Russinovich, Ahmed Salem, Ronen Eldan, 〈Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack〉, USENIX Security 2025. arXiv:2404.01833
- ↑ 11.0 11.1 Andy Zou 외, 〈Universal and Transferable Adversarial Attacks on Aligned Language Models〉, 2023. arXiv:2307.15043
- ↑ Patrick Chao 외, 〈Jailbreaking Black Box Large Language Models in Twenty Queries〉, 2023. arXiv:2310.08419
- ↑ 13.0 13.1 Anay Mehrotra 외, 〈Tree of Attacks: Jailbreaking Black-Box LLMs Automatically〉, NeurIPS 2024. arXiv:2312.02119
- ↑ 14.0 14.1 John Hughes 외, 〈Best-of-N Jailbreaking〉, 2024. arXiv:2412.03556
- ↑ Paul Röttger 외, 〈XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models〉, NAACL 2024. arXiv:2308.01263
- ↑ Andy Zou 외, 〈Improving Alignment and Robustness with Circuit Breakers〉, 2024. arXiv:2406.04313
- ↑ Neel Jain 외, 〈Baseline Defenses for Adversarial Attacks Against Aligned Language Models〉, 2023. arXiv:2309.00614
- ↑ Alexander Robey 외, 〈SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks〉, 2023. arXiv:2310.03684
- ↑ Hakan Inan 외, 〈Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations〉, 2023. arXiv:2312.06674
- ↑ Mrinank Sharma 외, 〈Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming〉, 2025. arXiv:2501.18837
- ↑ Eric Wallace 외, 〈The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions〉, 2024. arXiv:2404.13208