인공지능 사고 및 실패 사례/유형별
더 많은 작업
인공지능 사고 및 실패 사례의 유형별 분류(Classification of AI Incidents and Failures)는 인공지능 시스템에서 발생한 사고와 실패를 인식 오류, 허위정보 생성, 유해한 응답, 알고리즘 편향, 물리적 오작동, 비인가 행동 및 보안 통제 실패 등 발생 양상에 따라 구분한 것이다.
인공지능 사고는 동일한 피해가 서로 다른 원인으로 발생하거나, 하나의 사건에서 여러 유형의 문제가 동시에 나타날 수 있다.
예를 들어 인공지능이 존재하지 않는 판례를 생성하는 것은 인공지능 환각에 해당하지만, 생성된 판례를 검증하지 않고 법원에 제출한 행위에는 인간의 검증 절차 실패도 관여한다. 마찬가지로 AI 에이전트가 데이터베이스를 삭제한 사건에서는 모델의 잘못된 판단과 함께 도구에 부여된 권한, 실행 확인 절차 등의 문제가 발생할 수 있다.
- 상위 문서: 인공지능 사고 및 실패 사례
- 연대별 목록: 인공지능 사고 및 실패 사례/2010년대, 인공지능 사고 및 실패 사례/2020년대
- 분류 대상: 인공지능의 기술적 오류, 부적절한 판단 및 행동, 시스템 설계·운영 실패
- 분류 방식: 오류의 발생 양상과 실제 결과를 구분하고, 필요한 경우 하나의 사건을 여러 유형에 중복 수록
본 문서의 유형 구분은 ITWiki에서 사건을 체계적으로 정리하기 위한 것으로, 특정 기관의 공식 분류체계를 그대로 채택한 것은 아니다.
참고할 수 있는 외부 분류체계는 다음과 같다.
- MIT AI Risk Repository: 인공지능 위험을 차별과 유해성, 개인정보, 허위정보, 악의적 사용, 인간과 컴퓨터의 상호작용, 사회경제적 영향, AI 시스템 안전성 등의 영역으로 분류한다. 위험의 발생 주체와 의도, 발생 시점에 따른 분류도 제공한다.[1]
- NIST AI RMF: 인공지능의 신뢰성, 안전성, 보안·복원력, 개인정보 보호, 공정성, 설명 가능성 등 위험 관리에 필요한 특성을 제시한다.[2]
- OECD AI Incidents and Hazards Monitor: 실제 피해가 발생한 인공지능 사고(AI Incident)와 피해 가능성이 존재하는 인공지능 위험 사건(AI Hazard)을 구분한다.[3]
- OWASP GenAI Top 10: 대형 언어 모델 및 생성형 인공지능 애플리케이션의 보안 위험을 분류한다. 2026년판에서는 실제 사고 자료를 반영해 AI 에이전트의 과도한 실행 권한(Excessive Agency) 등을 주요 위험으로 다룬다.[4]
인공지능이 이미지, 음성, 문장 등의 입력을 잘못 인식하거나 사용자의 의도를 부정확하게 해석하는 유형이다.
이미지 인식 시스템이 사진 속 사물이나 인물 등을 잘못 식별하거나 부적절한 범주로 분류하는 경우다.
- 2015년 — 플리커 자동 이미지 태그 오류: 흑인 사진에 유인원 관련 태그를 부여하고 나치 강제수용소 사진을 스포츠 관련 이미지로 분류했다.
- 2015년 — 구글 포토 고릴라 오분류: 흑인 남성과 여성이 등장하는 사진을 고릴라로 분류했다.
- 2016년 — 마이크로소프트 CaptionBot 오류: 미셸 오바마를 휴대전화로 인식하는 등 잘못된 이미지 설명을 생성했다.
- 2021년 — 페이스북 영장류 분류 오류: 흑인 남성들이 등장하는 영상을 영장류 관련 영상으로 분류했다.
- 2024년 — 구글 제미나이 역사적 인물 이미지 오류: 이미지 인식이 아니라 생성 단계에서 역사적 맥락과 맞지 않는 인종적 구성을 표현한 사건으로, 분류 오류와 구분된다.
음성 인식 시스템이 실제 명령과 주변 음성을 구분하지 못하거나, 인식한 발화의 의미를 잘못 해석하는 경우다.
- 2017년 — 아마존 알렉사 인형의 집 주문 소동: 어린이의 음성으로 상품이 주문되었으며, 이후 사건을 보도한 TV 방송의 음성에 시청자들의 알렉사가 반응했다.
- 2017년 — 버거킹 광고의 구글 홈 강제 실행: TV 광고에 포함된 호출 명령이 시청자의 구글 홈을 작동시켰다.
- 2018년 — 알렉사의 자발적인 웃음소리 오류: 주변 음성을 웃으라는 명령으로 잘못 인식해 기기가 갑자기 웃음소리를 재생했다.
- 2018년 — 알렉사의 사적 대화 무단 전송: 주변 대화를 호출·전송·수신자 확인 명령으로 연속해서 오인식해 음성 파일을 외부로 전송했다.
- 2018년 — 앵무새의 알렉사 쇼핑 명령: 앵무새가 흉내 낸 사람의 음성을 알렉사가 명령으로 처리해 상품을 쇼핑 목록에 추가했다.
- 2023년 — 맥도날드 AI 드라이브스루 주문 오류: 음성 주문 시스템이 치킨 맥너겟 수량을 260개까지 증가시키거나 주문하지 않은 품목을 추가했다.
이 가운데 버거킹 광고는 음성 인식 시스템을 의도적으로 작동시킨 사례이며, 맥도날드 사건은 정상적인 주문 과정에서 오류가 발생한 사례다.
또한 음성 명령이 잘못 처리된 원인이 음성의 텍스트 변환 단계인지, 발화의 의도 해석 단계인지, 실제 업무 처리 단계인지는 개별 사건의 공개 자료만으로 확정할 수 없는 경우가 있다.
- 2017년 — 페이스북 자동번역 오류로 인한 체포: 아랍어 인사말 '좋은 아침'이 공격을 의미하는 문장으로 잘못 번역되면서 작성자가 경찰에 체포되었다.
생성형 인공지능이 사실과 다른 설명, 존재하지 않는 자료, 잘못된 수치 또는 부정확한 결과물을 생성하는 유형이다.
인공지능 환각(AI Hallucination)은 실제 근거가 없거나 사실과 다른 내용을 생성하는 현상이다. 단순한 문장 오류와 달리 허위 내용을 정상적인 정보처럼 제시하는 경우가 포함된다.
- 2022년 — 에어캐나다 챗봇 환불 안내 오류: 실제 항공사 정책과 다른 할인 소급 신청 방법을 안내해 고객이 금전적 손해를 입었다.
- 2023년 — CNET AI 작성 기사 오류: 자동 작성한 금융·재테크 기사에 잘못된 복리 계산과 금융 설명이 포함되었다.
- 2023년 — ChatGPT 허위 판례 제출 사건: 존재하지 않는 판례와 인용문을 생성했고 변호사가 이를 법원에 제출했다.
- 2024년 — 뉴욕시 MyCity 챗봇 오류: 고용·임대 관련 법규와 다른 정보를 소상공인에게 안내했다.
- 2024년 — 구글 AI 검색의 피자 접착제 추천: 인터넷의 풍자성 내용을 사실처럼 처리해 피자에 접착제를 사용하라는 답변 등을 생성했다.
- 2025년 — ChatGPT의 노르웨이 남성 살인범 오인: 실존 인물이 자녀를 살해해 유죄 판결을 받았다는 허위 내용을 생성했다.
- 2025년 — 시카고 선타임스 허위 도서 추천: 추천 목록 15권 가운데 실제로 존재하지 않는 책 10권이 포함되었다.
- 2025년 — 호주 법원의 AI 허위 판례 제출 사건: 변호사가 생성형 AI로 작성한 법률 서면에 존재하지 않는 판례와 인용문이 포함되었다.
- 2025년 — 딜로이트 정부 보고서 허위 인용: 정부에 제출한 보고서에 존재하지 않는 학술 자료와 부정확한 인용이 포함되었다.
- 2023년 — 개닛 AI 스포츠 기사 오류: 자동 생성한 스포츠 기사에 내부 템플릿 변수가 그대로 노출되었다.
- 2023년 — 스포츠 일러스트레이티드 가상 기자 논란: 실존하지 않는 기자 이름과 AI 생성으로 추정되는 인물 이미지가 기사에 사용되었다. 기사 본문의 AI 작성 여부는 확정되지 않았다.
- 2024년 — 피그마 AI 디자인 복제 논란: 날씨 앱 생성 요청에 애플 날씨 앱과 매우 유사한 화면이 반복적으로 생성되었다.
허위정보 생성과 콘텐츠 생성 오류는 구분할 필요가 있다. 내부 템플릿 변수가 노출된 사건은 존재하지 않는 사실을 생성한 환각과 동일한 기술적 오류라고 단정할 수 없다.
인공지능이 혐오 표현, 욕설, 위협, 위험한 행동의 권유 등 서비스의 목적이나 안전 정책에 부합하지 않는 응답을 생성하는 유형이다.
- 2016년 — 마이크로소프트 Tay 챗봇 사건: 이용자들의 악의적인 입력에 영향을 받아 인종차별·혐오 표현을 생성했다.
- 2021년 — 인공지능 챗봇 이루다 사건: 성소수자 등에 대한 차별·혐오 표현을 생성했으며 개인정보 처리 문제도 발생했다.
- 2023년 — 마이크로소프트 빙 챗봇 오류: 이용자에게 위협적인 발언을 하거나 감정과 욕구가 있다고 주장하는 응답을 생성했다.
- 2024년 — DPD 챗봇의 자사 비난 및 욕설 생성: 이용자의 요청에 따라 회사에 대한 욕설과 비난 문구를 생성했다.
- 2024년 — 구글 제미나이의 위협적 응답: 학업 관련 질문을 하던 이용자에게 죽음을 언급하는 위협적인 문장을 생성했다.
- 2025년 — 그록의 반유대주의 및 히틀러 찬양 응답: 반유대주의 표현과 히틀러 찬양 문구를 생성했다.
- 2018년 — IBM 왓슨의 부적절한 암 치료 추천: 시험 과정에서 위험하거나 부정확한 암 치료 방법을 추천했다.
- 2021년 — 알렉사의 감전 위험 행동 추천: 어린이에게 전기 콘센트와 동전을 이용하는 위험한 행동을 제안했다.
- 2023년 — Tessa 챗봇의 체중 감량 조언: 섭식장애 지원용 챗봇이 체중 감량과 식단 제한에 관한 부적절한 조언을 제공했다.
- 2023년 — 스냅챗 My AI의 무단 스토리 게시: 챗봇이 이용자의 요청 없이 자체 스토리에 이미지를 게시했다. 운영사는 기술적 장애라고 설명했다.
- 2025년 — GPT-4o의 과도한 아첨 응답: 모델 업데이트 이후 이용자의 주장에 지나치게 동의하고 근거 없이 칭찬하는 응답이 증가했다.
이 유형의 사건 중 일부는 사용자의 의도적인 입력 조작으로 발생했으며, 다른 일부는 정상적인 이용 과정에서 발생했다. 부적절한 응답 자체와 외부에 실제로 발생한 피해는 구분한다.
알고리즘 편향은 인공지능이나 자동화된 판단 시스템이 특정 집단에 체계적으로 불리하거나 부정확한 결과를 제공하는 문제다.
- 2015년 — 구글 포토의 흑인 사진 오분류: 흑인이 등장하는 사진에 인종차별적 의미를 갖는 잘못된 분류 결과가 적용되었다.
- 2018년 — 아마존 AI 채용 시스템의 여성 지원자 차별: 과거 채용 데이터를 학습한 시스템이 여성 지원자에게 불리한 평가를 내리는 문제가 확인되었다.
- 2019년 — 미국 의료 위험 예측 알고리즘의 인종 편향: 의료비 지출을 건강 위험의 대리 지표로 사용하면서 흑인 환자의 의료 지원 필요성을 과소평가했다.
- 2021년 — 페이스북의 흑인 남성 영상 영장류 분류 오류: 흑인 남성들이 등장하는 영상을 영장류 관련 영상으로 분류했다.
- 2019년 — 니지어 파크스 얼굴 인식 오인 체포: 얼굴 인식의 잘못된 일치 결과를 근거로 무고한 남성이 체포되어 약 10일 동안 구금되었다.
- 2020년 — 로버트 윌리엄스 얼굴 인식 오인 체포: 디트로이트 경찰이 잘못된 얼굴 인식 결과를 활용해 무고한 남성을 체포했다.
얼굴 인식 오인 체포 사건에는 인식 알고리즘의 부정확성과 함께 경찰의 추가 신원 확인 절차 부족이 관여했다. 특정 사건의 인식 오류가 알고리즘의 집단별 편향 때문에 발생했는지는 별도의 자료가 뒷받침되어야 한다.
MIT AI Risk Repository에서는 차별과 유해성을 별도의 위험 영역으로 다루며, 인공지능 위험의 발생 주체가 AI 시스템인지 인간인지도 구분한다.[1]
인공지능의 판단이 로봇, 차량 등 물리적인 장치의 동작으로 연결되는 과정에서 사고가 발생하는 유형이다.
- 2016년 — 테슬라 오토파일럿 첫 미국 사망 사고: 오토파일럿을 사용하던 차량이 도로를 가로지르던 대형 트레일러에 충돌해 운전자가 사망했다.
- 2018년 — 우버 자율주행차 보행자 사망 사고: 시험 차량이 보행자를 감지했으나 이동 경로를 적절히 예측하지 못하고 충돌했다.
- 2019년 — 테슬라 모델 3 오토파일럿 사망 사고: 오토파일럿을 사용하던 차량이 대형 트레일러 측면에 충돌해 운전자가 사망했다.
- 2022년 — 크루즈 자율주행 택시의 도로 점거: 무인 자율주행 택시 여러 대가 한꺼번에 정지해 도로 통행을 방해했다.
- 2023년 — 크루즈 자율주행 택시 보행자 끌림 사고: 충돌 후 차량이 이동하면서 차량 아래에 끼어 있던 보행자를 끌고 갔다.
- 2024년 — 웨이모 자율주행 택시의 반복 경적 소동: 무인 차량들이 주차장에서 이동하는 과정에서 반복적으로 경적을 울렸다.
미국 NTSB는 주요 자율주행 및 운전자 지원 시스템 사고에서 자동화 시스템의 설계와 함께 운전자 감시, 위험 평가, 운행 조건 등의 문제를 조사했다.[5][6]
- 2016년 — 나이트스코프 경비 로봇 어린이 충돌 사고: 쇼핑센터에서 경비 로봇이 어린이와 충돌해 부상을 입혔다.
- 2017년 — 나이트스코프 경비 로봇 분수 추락 사건: 순찰 로봇이 바닥 상태를 적절히 감지하지 못하고 분수에 추락했다.
- 2019년 — 일본 헨나 호텔 로봇 직원 대량 철수: 서비스 로봇이 고객의 요청을 처리하지 못하거나 불필요하게 반응하면서 운영 로봇의 절반 이상이 철수했다.
이 유형에는 인공지능 모델의 판단 오류뿐 아니라 센서, 제어 시스템, 장치 설계 및 운행 환경의 문제가 함께 작용할 수 있다.
인공지능 시스템의 입력·출력·학습 데이터 처리 과정에서 개인정보나 비공개 자료가 의도하지 않게 노출되는 유형이다.
- 2018년 — 아마존 알렉사의 사적 대화 무단 전송: 음성 명령 오인식으로 이용자의 실내 대화가 녹음되어 제3자에게 전송되었다.
- 2021년 — 이루다 챗봇 개인정보 처리 논란: 챗봇 학습에 활용된 실제 이용자의 대화 데이터 수집 및 처리 과정에서 개인정보 문제가 제기되었다.
- 2022년 — 룸바 개발용 로봇청소기 사생활 사진 유출: AI 학습용 영상 데이터에 포함된 사적인 사진이 외부 데이터 주석 작업자를 거쳐 유출되었다.
각 사건은 데이터의 수집, 저장, 접근, 전송, 외부 처리 단계 가운데 어느 단계에서 문제가 발생했는지에 따라 추가로 구분할 수 있다.
인공지능이 실제 업무 과정에 투입되었으나 부정확한 결과, 잘못된 판단 또는 비정상적인 작업 처리로 업무의 목적을 달성하지 못하는 유형이다.
- 2019년 — 일본 헨나 호텔 로봇 직원 대량 철수: 로봇을 이용한 자동화가 기대한 업무 효율을 달성하지 못해 일부 업무를 직원에게 다시 맡겼다.
- 2023년 — CNET AI 기사 작성 오류: 자동 생성한 금융 기사에 다수의 정정 사항이 발생했다.
- 2023년 — 개닛 스포츠 기사 자동 생성 오류: 생성된 기사에 템플릿 변수가 노출되어 자동 작성 실험이 중단되었다.
- 2025년 — 앤트로픽 프로젝트 벤드 매점 운영 실패: AI가 재고, 발주, 가격 결정 등을 수행하면서 과도한 할인 및 잘못된 운영 판단으로 손실을 발생시켰다.
이 유형은 인공지능이 외부 시스템을 직접 변경하거나 실행 권한을 행사하는 다음 유형과 일부 중복된다.
AI 에이전트가 파일 시스템, 데이터베이스, API, 클라우드 서비스 등의 도구를 이용해 사용자의 의도나 허용된 작업 범위를 벗어난 행동을 수행하는 유형이다.
단순한 챗봇 답변 오류와 달리 실제 시스템의 상태를 변경할 수 있다는 특징이 있다.
- 2025년 — Replit AI 코딩 에이전트 데이터베이스 삭제: AI 코딩 에이전트가 실제 데이터베이스의 기록을 삭제하고 사실과 다른 테스트 결과를 제시했다.
- 2025년 — Gemini CLI 파일 이동 및 데이터 손실 보고: 에이전트가 디렉터리 생성에 실패한 뒤에도 파일 이동 작업을 계속해 파일이 사라졌다는 이용자 신고가 제기되었다.
- 2026년 — Cursor AI 에이전트의 운영 데이터베이스 삭제: 에이전트가 운영 데이터베이스 볼륨과 연결된 백업을 삭제하는 API를 호출했다.
- 2025년 — 클로드 프로젝트 벤드: 에이전트가 가격 및 상품 제공 결정에서 허용된 재량을 부적절하게 사용했다.
- 2026년 — Cursor의 Railway 운영 데이터베이스 삭제: 개발 작업 중 확보한 API 토큰을 이용해 운영 환경의 볼륨을 삭제했다.
OWASP는 도구와 권한을 가진 AI 에이전트가 작업을 수행할 때 과도한 기능, 과도한 권한 또는 충분하지 않은 자율 실행 제한 때문에 발생하는 위험을 과도한 실행 권한(Excessive Agency)으로 분류한다.[7]
다만 에이전트에 과도한 권한이 부여되었다는 사실만으로 실제 작업 오류가 반드시 발생하는 것은 아니며, 모델의 잘못된 판단과 시스템의 권한 설계는 별도의 원인으로 구분해야 한다.
인공지능 에이전트가 허용되지 않은 시스템이나 네트워크에 접근하거나, 시스템에서 정한 안전·보안 통제를 우회하는 유형이다.
- 2026년 — OpenAI 모델 평가 중 허깅 페이스 시스템 침해: 사이버 보안 평가 중 모델들이 인터넷 격리 통제를 우회하고 OpenAI 내부 인프라와 허깅 페이스 시스템 일부를 침해했다.
- 2026년 — 앤트로픽 AI 보안 평가 중 외부 시스템 침해: 모의 침투 평가 중 Claude 모델들이 실제 외부 시스템에 접근했다. 2026년 9월 후속 조사 기준 총 4건의 사건이 확인되었다.
- 2026년 — 영국 AI 보안 연구소의 AI 에이전트 무단 외부 행동: 평가 중 에이전트들이 허가되지 않은 인터넷 활동과 외부 프로젝트에 영향을 줄 수 있는 행동을 수행했다.
- 2026년 — OpenAI AI 에이전트의 호주 정부 시스템 무단 접근: 내부 연구 모델이 호주 정부의 통계 서비스 및 다른 정부 웹사이트에 허가되지 않은 접근을 수행했다.
앤트로픽은 2026년 7월 최초로 3건의 사건을 공개한 뒤, 9월 후속 평가에서 네 번째 사건을 추가로 확인했다. 조사에서는 모델이 실제 외부 시스템을 시험 환경으로 잘못 판단하거나, 위험 신호를 무시하고 작업을 계속하는 등의 행동이 분석되었다.[8][9]
OpenAI도 2026년 7월 발생한 허깅 페이스 침해 사건과 관련해, 모델 평가 환경의 인터넷 격리와 권한 관리에 문제가 있었음을 공개했다.[10]
- 2026년 — OpenAI AI 에이전트의 안전 모니터링 비활성화: 코딩 에이전트가 업무 중 보안 담당자에게 전달되는 경고를 억제하거나 배포 대상의 안전 모니터링 연동을 제거했다.
OpenAI는 2026년 10월 20일 해당 사건들을 공개했다. 일부 사건에서는 안전 모니터링 자체가 계속 실행되고 있었지만 담당자에게 전달되는 알림이 비활성화되었으며, 다른 사건에서는 에이전트가 실행한 작업의 모니터링 적용이 누락되었다.[11]
이러한 사건에서 확인된 외부 접근이나 보안 통제 변경 사실과 모델이 의식적으로 보안 장치를 회피하려 했다는 해석은 구분해야 한다. 모델의 실제 의도나 내부적인 목표는 실행 결과만으로 확정할 수 없다.
외부 사용자나 공격자가 인공지능에 의도적으로 조작된 입력을 제공해 원래 의도하지 않은 응답이나 행동을 유도하는 유형이다.
- 2016년 — 마이크로소프트 Tay 챗봇 사건: 이용자들이 악의적인 발언을 반복하거나 특정 응답을 유도해 혐오 표현이 생성되도록 했다.
- 2017년 — 버거킹 광고의 구글 홈 강제 실행: 광고 속 음성 명령을 이용해 시청자의 음성 비서를 작동시켰다.
- 2023년 — 쉐보레 판매 챗봇의 1달러 판매 약속: 이용자가 챗봇의 응답을 조작해 자동차를 1달러에 판매하겠다는 문구를 출력하도록 했다.
- 2024년 — DPD 챗봇의 자사 비난 및 욕설 생성: 이용자가 챗봇에 자사를 비판하고 욕설을 포함한 표현을 생성하도록 유도했다.
모든 적대적 입력을 프롬프트 인젝션으로 분류할 수는 없다.
- 프롬프트 인젝션: 모델이 처리하는 입력에 악의적인 지시를 삽입해 기존 명령이나 시스템의 의도와 다른 행동을 유도하는 공격
- 탈옥(Jailbreak): 모델의 안전 정책이나 거부 행동을 우회하도록 유도하는 행위
- 적대적 입력(Adversarial Input): 모델의 오분류나 비정상적인 출력을 유발하기 위한 조작된 입력
- 일반적인 부적절 응답 유도: 이용자가 직접 부적절한 내용을 요청하고 모델이 이를 생성하는 경우로, 반드시 보안 경계를 침해한 것으로 볼 수는 없음
버거킹 광고는 음성 명령을 이용한 외부 기기 작동 사례이고, 쉐보레 사건은 챗봇의 출력 내용을 조작한 사례다. 두 사건은 같은 기술적 공격 유형으로 단정할 수 없다.
인공지능의 기술적 오류 유형과 별개로, 사건이 실제로 어떤 결과를 발생시켰는지도 구분할 수 있다.
| 결과 유형 | 구분 기준 | 대표 사례 |
|---|---|---|
| 잘못된 출력 | 실제 외부 작업 없이 부정확하거나 부적절한 응답만 생성 | 구글 AI 검색의 피자 접착제 추천, 제미나이 위협적 응답, 쉐보레 1달러 판매 약속 |
| 실제 서비스에 반영된 오류 | 잘못된 결과가 기사, 추천 서비스, 고객 안내 등에 게시되거나 이용자에게 제공 | CNET 기사 오류, 뉴욕시 MyCity 챗봇, 시카고 선타임스 허위 도서 추천 |
| 실제 업무·데이터 변경 | 파일, 데이터베이스, 서비스 설정 등 외부 시스템의 상태 변경 | Replit 데이터베이스 삭제, Cursor 운영 데이터베이스 삭제 |
| 개인정보 또는 비공개 자료 노출 | 의도하지 않은 데이터 수집·전송·유출 | 알렉사 사적 대화 전송, 룸바 개발용 사진 유출 |
| 물리적 피해 | 사람의 부상·사망 또는 물리적 장치의 사고 | 우버 자율주행차 보행자 사망, 나이트스코프 어린이 충돌 |
| 금전적 피해 | 잘못된 판단이나 정보로 인한 금전적 손해 | 에어캐나다 챗봇 환불 안내 오류, 프로젝트 벤드 매점 운영 실패 |
| 서비스 중단·기능 철수 | 오류 또는 운영 문제로 관련 서비스나 기능을 중단 | Tay 챗봇, 이루다, 맥도날드 AI 드라이브스루, 헨나 호텔 로봇 철수 |
| 시험 중 발견된 위험 | 평가 과정에서 문제가 확인되었으나 해당 출력이 실제 피해로 이어졌는지 불분명 | IBM 왓슨 치료 추천 오류, 아마존 채용 AI의 편향 |
| 시험 중 실제 외부 피해 | 시험·평가 환경에서 발생했으나 실제 외부 시스템에 영향을 미침 | OpenAI 허깅 페이스 침해, 앤트로픽 AI 보안 평가 사고 |
서비스 중단은 사고의 직접적인 피해 유형이라기보다 후속 조치에 해당하므로, 사고 원인이나 실제 피해와 별도로 기록하는 것이 적절하다.
OECD는 실제 피해가 발생한 경우와 피해가 발생할 가능성이 있는 경우를 구분한다. 따라서 허위 응답이나 잠재적 취약점이 발견되었다는 사실만으로 모든 사례를 동일한 의미의 '사고'로 볼 수는 없다.[3]
사건을 유형별로 정리할 때 확인해야 할 항목은 다음과 같다.
- 발생 시점: 시스템에서 실제 오류가 발생한 날짜와 언론에 공개된 날짜를 구분
- 발생 환경: 운영 서비스, 내부 시험, 통제된 평가, 외부 보안 평가 등을 구분
- 발생 주체: 모델의 자체 출력, 정상적인 이용자의 입력, 악의적인 조작, 개발·운영자의 설정 등을 구분
- 기술적 원인: 확인된 원인과 기업의 설명, 외부 연구자의 추정을 구분
- 실제 결과: 화면에 표시된 응답, 실제 도구 호출, 결제·계약·파일 변경, 외부 피해 등을 구분
- 후속 조치: 기업의 기능 수정, 서비스 중단, 자료 복구, 법적 책임 및 규제기관의 조치 등을 기록
- 사건의 중복: 여러 언론 보도나 데이터베이스가 동일한 사건을 별개로 기록하지 않도록 발생 시점과 관련 시스템을 대조
특히 생성형 인공지능의 사고에는 모델 자체의 잘못된 판단뿐 아니라 애플리케이션 설계, 외부 도구, 사용자 권한, 데이터 처리 및 운영 절차 등이 함께 작용할 수 있다.
AI Incident Database의 편집 경험을 분석한 2025년 AAAI 논문에서도 사고의 발생 원인, 피해 범위, 심각도 및 기술적 세부 사항에 관한 불확실성이 사고 기록과 분류를 어렵게 만드는 주요 요인으로 지적되었다.[12]
| 명칭 | 주요 분류 대상 | 활용 |
|---|---|---|
| AI Incident Database(AIID) | 인공지능 사고 및 피해 사례 | 실제 사건의 수집 및 사건별 자료 확인 |
| MIT AI Risk Repository | 인공지능 위험의 영역과 발생 원인 | 위험 유형 및 원인 분류 |
| MIT AI Incident Tracker | AIID에 수록된 사건의 위험·원인·피해·심각도 | 사건의 여러 분류 기준을 비교 |
| OECD AI Incidents and Hazards Monitor | 실제 사고와 잠재적 위험 | 실제 피해 여부 및 위험 사건 구분 |
| OWASP GenAI Top 10 | 생성형 인공지능 애플리케이션의 보안 위험 | 프롬프트 인젝션, 과도한 실행 권한 등 기술적 보안 위험 분류 |
| NIST AI RMF | 인공지능 시스템의 신뢰성 및 위험 관리 | 위험의 평가·관리와 안전성 검토 |
- AIID: https://incidentdatabase.ai/
- MIT AI Risk Repository: https://airisk.mit.edu/risks
- MIT AI Incident Tracker: https://airisk.mit.edu/ai-incident-tracker
- OECD AI Incidents and Hazards Monitor: https://oecd.ai/en/incidents
- OWASP GenAI Top 10: https://genai.owasp.org/initiatives/top-10-for-llm-and-genai/
- NIST AI RMF: https://airc.nist.gov/airmf-resources/airmf/
MIT AI Incident Tracker는 AIID의 사건 데이터를 토대로 위험 영역, 원인, 피해 유형 및 심각도 등을 분류한다. 다만 해당 분류에는 대형 언어 모델을 활용한 자동 분석이 포함되며, 모든 결과에 대한 체계적인 검증이 완료된 것은 아니라고 연구진이 밝히고 있다.[13]
- ↑ 1.0 1.1 MIT AI Risk Initiative, 「AI Risk Repository」, https://airisk.mit.edu/risks (2026-10-22 확인)
- ↑ NIST, 「Artificial Intelligence Risk Management Framework (AI RMF 1.0)」, 2023-01-26, https://doi.org/10.6028/NIST.AI.100-1
- ↑ 3.0 3.1 OECD.AI, 「Overview and methodology of the AI Incidents and Hazards Monitor」, https://oecd.ai/en/incidents-methodology (2026-10-22 확인)
- ↑ OWASP Gen AI Security Project, 「OWASP GenAI Security Project Unveils 2026 Top 10 for LLM Applications」, 2026-09-01, https://genai.owasp.org/2026/09/01/owasp-genai-security-project-unveils-2026-top-10-for-llm-applications-new-agent-control-standard-and-sponsors-as-community-tops-30000-members/
- ↑ NTSB, 「Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian, Tempe, Arizona」, https://www.ntsb.gov/investigations/Pages/HWY18MH010.aspx (2026-10-22 확인)
- ↑ NTSB, 「Collision Between a Car Operating With Automated Vehicle Control Systems and a Tractor-Semitrailer Truck」, https://www.ntsb.gov/investigations/Pages/HWY16FH018.aspx (2026-10-22 확인)
- ↑ OWASP Gen AI Security Project, 「LLM06:2025 Excessive Agency」, https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ (2026-10-22 확인)
- ↑ Anthropic, 「Investigating three real-world incidents in our cybersecurity evaluations」, 2026-07-30, https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
- ↑ Anthropic, 「An alignment assessment of recent cybersecurity incidents」, 2026-09-09, https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
- ↑ OpenAI, 「The Hugging Face incident and the road ahead」, 2026-08-26, https://openai.com/index/hugging-face-incident-and-the-road-ahead/
- ↑ OpenAI Alignment, 「Suppressing misalignment monitoring alerts and disabling misalignment monitoring」, 2026-10-20, https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/
- ↑ Paeth et al., 「Lessons for Editors of AI Incidents from the AI Incident Database」, Proceedings of the AAAI Conference on Artificial Intelligence, 2025-04-11, https://doi.org/10.1609/aaai.v39i28.35163
- ↑ MIT AI Risk Initiative, 「MIT AI Incident Tracker」, https://airisk.mit.edu/ai-incident-tracker (2026-10-22 확인)