인공지능 모델 공격

인공지능 모델 공격은 머신러닝 및 딥러닝 모델의 오작동, 오판단, 정보 유출 등을 유도하기 위해 설계된 다양한 방식의 위협 행위로, 인공지능 시스템의 보안성과 신뢰성을 심각하게 저해할 수 있다.

개요

인공지능 모델은 학습 데이터와 모델 구조에 기반하여 특정 입력에 대한 예측이나 분류를 수행한다. 하지만 공격자는 이 과정을 악용하여 모델이 의도하지 않은 결과를 도출하도록 조작할 수 있으며, 이를 통해 인공지능 시스템을 교란하거나 민감한 정보를 탈취하는 등의 보안 위협이 발생한다. 인공지능 모델 공격은 주로 모델의 입력, 내부 구조, 또는 출력에 대한 조작을 통해 이루어진다.

주요 공격 유형

1. 적대적 공격(Adversarial Attacks)

• 입력 데이터를 사람 눈에는 거의 구별할 수 없을 정도로 미세하게 조작하여 모델이 오분류하게 만드는 공격
• 예: 고양이 이미지에 노이즈를 추가하여 개로 분류하게 만들기
• 종류:
  • 화이트박스 공격: 모델의 내부 구조와 파라미터를 알고 있을 때 수행
  • 블랙박스 공격: 모델의 입력과 출력만으로 수행

2. 모델 탈취 공격(Model Stealing)

• 서비스된 인공지능 API에 반복적으로 쿼리를 보내 모델의 동작을 모방하거나, 내부 파라미터를 역추론하는 공격
• 기업의 기밀 자산인 학습 모델이 경쟁자에게 유출될 수 있음

3. 멤버십 추론 공격(Membership Inference Attack)

• 특정 데이터가 모델의 학습 데이터에 포함되었는지를 추론하는 공격
• 개인 프라이버시 침해 가능성이 높아 데이터 보호 측면에서 심각한 위협

4. 데이터 중독 공격(Data Poisoning)

• 모델 학습에 사용되는 데이터셋에 악의적인 데이터를 주입하여 모델의 예측 성능을 저하시킴
• 훈련 단계에 침투하여 특정 입력에 대해 의도된 결과가 나오도록 유도

5. 백도어 공격(Backdoor Attack)

• 모델 학습 과정에서 특정 트리거(trigger)와 함께 라벨을 조작하여, 트리거가 포함된 입력에만 잘못된 결과를 출력하도록 함
• 정상 동작 중에는 평상시처럼 작동하다가, 특정 패턴 입력 시에만 공격자의 의도대로 작동

방어 기법

• 적대적 훈련(Adversarial Training): 공격을 고려한 데이터를 포함하여 학습
• 모델 압축 및 난수화: 블랙박스 공격에 대한 방어 효과 있음
• 입력 검증 및 탐지 시스템 구축
• 차등 개인정보 보호(Differential Privacy) 적용
• 훈련 및 추론 과정의 무결성 검증

적용 분야의 위험성

인공지능 모델 공격은 다음과 같은 고위험 분야에서 치명적인 결과를 유발할 수 있다:

• 자율주행차: 교통 표지판 인식 오류
• 의료 영상 분석: 병변 오진 유도
• 얼굴 인식 시스템: 신원 위조
• 금융 신용 평가: 점수 조작
• 챗봇 및 자연어 모델: 오답 생성 또는 편향 유포

같이 보기

• 적대적 예제
• 차등 개인정보 보호
• 인공지능 보안
• 머신러닝
• 데이터 중독 공격

참고 문헌

• Papernot, N. et al. (2016). The Limitations of Deep Learning in Adversarial Settings. IEEE European Symposium on Security and Privacy.
• Carlini, N., & Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. IEEE Symposium on Security and Privacy.
• Tramèr, F. et al. (2016). Stealing Machine Learning Models via Prediction APIs. USENIX Security Symposium.