적대적 공격
더 많은 작업
- Adversarial attack; 적대적 공격
- 기계 학습 모델의 학습 데이터나 입력을 일부러 조작해 오분류, 성능 저하, 정보 유출을 일으키는 공격
적대적 공격(adversarial attack)은 딥 러닝 모델을 비롯한 머신러닝 모델에 적대적 교란(adversarial perturbation)을 주어 오분류를 일으키거나 신뢰도를 떨어뜨리는 공격을 통틀어 이르는 말이다. 좁게는 입력에 작은 교란을 더해 모델을 속이는 회피 공격(적대적 예제)만 가리키기도 하고, 넓게는 학습 데이터를 오염시키는 공격과 모델·데이터 정보를 빼내는 공격까지 포함한다. 국내 정보관리기술사·정보보안 시험 대비 자료는 넓은 뜻으로 회피·중독·탐색의 3분류를 쓴다.
AI 모델의 역기능을 일으켜 자율주행, 의료 영상, 얼굴 인식, 금융 신용 평가처럼 오판의 대가가 큰 분야에서 AI 도입을 가로막는 요인이 된다. 이 공격들을 연구하는 분야를 적대적 머신러닝이라 하고, 공격 분류 전체와 생성형 AI 공격은 인공지능 대상 공격, AI 보안 전체는 AI 보안 문서에서 다룬다.
| 유형 | 시점 | 설명 | 자세한 문서 |
|---|---|---|---|
| 회피 공격(Evasion Attack) | 배포(추론) | 사람 눈으로 알아보기 어려운 교란을 입력에 더해 모델이 틀리게 판정하게 한다. 예: 정지 표지판에 스티커를 붙여 자율주행 차량의 인식 모델이 속도 제한 표지판으로 읽게 하는 공격[1] | 적대적 예제 |
| 중독 공격(Poisoning Attack) | 학습 | 학습 데이터에 악성 데이터를 넣거나 레이블을 바꿔 모델 자체를 망가뜨린다. 특정 입력에만 반응하는 백도어를 심는 것도 여기에 든다 | 데이터 오염 공격, 백도어 공격 (인공지능) |
| 탐색적 공격(Exploratory Attack) | 배포(추론) | 모델에 질의해 받은 분류 결과와 신뢰도(confidence)를 분석해 학습 데이터나 모델 정보를 역으로 알아낸다. 공개 API만으로 기능이 비슷한 모델을 복제하는 블랙박스 공격도 포함한다 | 모델 추출 공격, 멤버십 추론 공격, 모델 인버전 공격 |
사람의 눈에는 그냥 독특한 무늬로 보이지만 인공지능의 인식을 교란하도록 만든 신호나 이미지를 적대적 패턴(adversarial pattern)이라고도 부른다. 인쇄한 패치나 무늬를 넣은 티셔츠로 감시 카메라의 사람 탐지 모델을 회피한 연구가 있어, 자율주행이나 감시 장비를 교란하는 보안 위협으로 거론된다. 자세한 예는 적대적 예제 문서의 물리적 적대적 예제 절 참고.
중독 공격의 예로 마이크로소프트의 챗봇 테이(Tay)가 자주 인용된다. 테이는 2016년 3월 23일(수) 미국 18~24세를 대상으로 트위터에 공개되었는데, 일부 사용자들의 조직적인 공격으로 부적절한 트윗을 쏟아냈고 공개 후 24시간 안에 중단되었다. 마이크로소프트는 3월 25일 공식 블로그에서 "일부 사람들의 조직적 공격이 테이의 취약점을 악용했다"고 사과했다.[2] 운영 시간은 흔히 약 16시간으로 알려져 있다.
MITRE ATLAS도 이 사건을 "Tay Poisoning" 사례 연구(AML.CS0009)로 싣고 있다. 대화에 따라 직접 영향을 받는 기계 학습 기능을 노려 악의적인 사용자들이 모욕적인 트윗을 쏟아부었고, 결국 테이가 비슷한 발언을 하게 되었다는 설명이다.[3] 다만 이는 미리 모아 둔 학습 데이터셋에 오염 표본을 몰래 섞는 전형적인 데이터 중독과 다르다. 공개 서비스가 사용자 대화를 받아 계속 행동을 바꾸는 구조(온라인 학습 피드백)를 공개적으로 악용한 것이며, 마이크로소프트가 밝힌 "취약점"의 기술적 세부는 공개되지 않았다. 시험 답안에서는 "온라인 학습 피드백을 통한 오염 사례"로 쓰는 것이 정확하다.
3분류는 바레노(Barreno) 등이 2006년에 제시한 원인적(causative)/탐색적(exploratory) 구분에서 왔다.[4] 원래 뜻의 탐색적 공격은 학습에 영향을 주지 않고 시험 단계 입력만 다루는 공격 전체여서 회피 공격도 그 안에 들어간다. 비조(Biggio)와 롤리(Roli)는 원인적·탐색적 공격이 오늘날 각각 중독·회피 공격으로 더 많이 불린다고 정리했다.[5] 국내 시험 자료의 "탐색적 공격"은 이 가운데 정보를 빼내는 공격만 따로 떼어 부르는 것이다.
현행 표준 분류인 NIST AI 100-2 E2025는 공격 목표(가용성 침해, 무결성 침해, 프라이버시 침해, 생성형 AI의 오용 조장)와 학습 단계, 공격자 능력·지식으로 나누고 공격마다 식별자를 붙인다.[6] KISA 「인공지능(AI) 보안 안내서」는 AI 모델 취약점 공격을 프롬프트 공격, 회피 공격, 오염 공격, 데이터 추출 공격, 모델 추출 공격의 다섯 가지로 나눈다.[7]
| 시험용 3분류 | NIST AI 100-2 E2025 | MITRE ATLAS 기법 | KISA 안내서 |
|---|---|---|---|
| 회피 공격 | 무결성 침해: 화이트박스 회피(NISTAML.022), 블랙박스 회피(NISTAML.025) | Evade AI Model(AML.T0015), Craft Adversarial Data(AML.T0043) | 회피 공격 |
| 중독 공격 | 가용성 중독(NISTAML.013), 표적 중독(NISTAML.024), 백도어 중독(NISTAML.023), 클린 레이블 중독(NISTAML.012, .021), 모델 중독(NISTAML.011, .026, .051) | Training Data Poisoning(AML.T0020), Poison AI Model(AML.T0018.000) | 오염 공격 |
| 탐색적 공격 | 프라이버시 침해: 모델 추출(NISTAML.031), 데이터 재구성(NISTAML.032), 멤버십 추론(NISTAML.033), 속성 추론(NISTAML.034) | Extract AI Model(AML.T0024.002), Infer Training Data Membership(AML.T0024.000), Invert AI Model(AML.T0024.001) | 모델 추출 공격, 데이터 추출 공격 |
| (3분류에 없음) | 에너지-지연 공격(NISTAML.014), 직접·간접 프롬프트 인젝션(NISTAML.018, .015), 학습 데이터 추출(NISTAML.038) | LLM Prompt Injection(AML.T0051), LLM Jailbreak(AML.T0054) | 프롬프트 공격 |
NIST 식별자는 원문 2장과 3장, ATLAS 식별자는 2026.09판 데이터에서 확인했다.[6][3] 3분류는 예측형 모델 시대의 틀이라 프롬프트 인젝션, 탈옥 같은 생성형 AI 공격과 가용성 공격은 따로 다뤄야 한다.
| 구분 | 대응 방안 |
|---|---|
| 예방 | 적대적 훈련: 학습 단계에서 PGD 같은 공격으로 만든 적대적 예제를 정답과 함께 학습시켜 저항성을 높인다. 데이터 출처 관리와 이상치 제거로 중독을 막는다 |
| 정제 | 입력을 변환하거나 생성 모델로 깨끗한 입력 쪽으로 되돌린 뒤 분류한다. 예: Defense-GAN(2018)[8]. 다만 Defense-GAN을 포함한 여러 정제 방어가 반복 최적화 공격에 취약한 것으로 드러났다[9] |
| 탐지 | 원래 모델과 별도로 적대적 입력 여부를 판단하는 모델을 두고 결과를 비교한다. 칼리니와 와그너가 탐지 방법 10개를 우회했듯 적응형 공격에는 약하다[10] |
| 차단 | 반복 질의를 감시하고 공개 API의 호출 횟수를 제한해 블랙박스 회피, 모델 추출, 멤버십 추론에 필요한 대량 질의를 막는다 |
| 은닉 | 신뢰도 점수 대신 최종 레이블만 내보내는 등 결과값 노출을 줄이고, 학습 데이터는 암호화나 비식별 처리, 차분 프라이버시로 보호한다 |
| 증명 | 랜덤 스무딩 같은 인증된 방어로 일정 반경 안의 교란에는 판정이 바뀌지 않음을 수학적으로 보장한다. 자세한 내용은 적대적 예제 참고 |
NIST는 회피 공격 완화의 유망한 방향으로 적대적 훈련, 랜덤 스무딩 같은 인증 기법, 형식 검증을 들면서, 정확도 하락과 계산 비용이 따른다고 적는다. 또 약한 공격으로만 평가한 방어가 강한 공격에 깨진 일이 반복되었으므로 방어는 적응형 공격으로 평가해야 한다고 강조한다.[6]
- ↑ Kevin Eykholt 외, 〈Robust Physical-World Attacks on Deep Learning Models〉, CVPR 2018. arXiv:1707.08945
- ↑ Peter Lee, 〈Learning from Tay's introduction〉, The Official Microsoft Blog, 2016-03-25. 마이크로소프트 블로그
- ↑ 3.0 3.1 MITRE, ATLAS 데이터 2026.09판, AML.CS0009 Tay Poisoning. mitre-atlas/atlas-data
- ↑ Marco Barreno 외, 〈Can machine learning be secure?〉, ASIACCS 2006. doi:10.1145/1128817.1128824
- ↑ Battista Biggio, Fabio Roli, 〈Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning〉, Pattern Recognition 84, 2018. arXiv:1712.03141
- ↑ 6.0 6.1 6.2 Apostol Vassilev 외, 〈Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations〉, NIST AI 100-2 E2025, 2025-03. NIST CSRC
- ↑ 과학기술정보통신부·한국인터넷진흥원, 「인공지능(AI) 보안 안내서」, 2025-12-10(2026-03-13 정오 수정본). KISA 지식플랫폼
- ↑ Pouya Samangouei, Maya Kabkab, Rama Chellappa, 〈Defense-GAN: Protecting Classifiers Against Adversarial Attacks Using Generative Models〉, ICLR 2018. arXiv:1805.06605
- ↑ Anish Athalye 외, 〈Synthesizing Robust Adversarial Examples〉, ICML 2018, 관련 연구 절. arXiv:1707.07397
- ↑ Nicholas Carlini, David Wagner, 〈Adversarial Examples Are Not Easily Detected: Bypassing Ten Detection Methods〉, AISec 2017. arXiv:1705.07263
- 정보관리기술사 123회 하나둘셋 동기회 기출풀이집
- NIST AI 100-2 E2025