인공지능 사고 및 실패 사례/2020년대
IT위키
더 많은 작업
2020년대 인공지능 사고 및 실패 사례(AI Incidents and Failures in the 2020s)는 2020년부터 2029년까지 인공지능 시스템의 오인식, 허위정보 생성, 잘못된 판단, 비정상적인 행동 및 자동화 오류 등으로 실제 환경에서 발생한 사건을 정리한 목록이다.
2020년대에는 생성형 인공지능과 대형 언어 모델(LLM)이 상용화되면서 기존의 이미지·음성 인식 및 자율주행차 관련 사고 외에도 챗봇의 허위정보 생성, 잘못된 업무 처리, AI 에이전트의 비인가 행동 등이 주요 사고 유형으로 등장했다.
특히 외부 도구와 연결된 AI 에이전트에서는 잘못된 판단이 단순한 답변 오류에 그치지 않고 실제 파일 삭제, 데이터베이스 변경, 시스템 침해 등으로 이어진 사례가 보고되었다.
- 상위 문서: 인공지능 사고 및 실패 사례
- 이전 시기: 인공지능 사고 및 실패 사례/2010년대
- 유형별 분류: 인공지능 사고 및 실패 사례/유형별
- 수록 기간: 2020년 1월 1일~2026년 10월 22일 현재 확인된 사건
실제 서비스나 업무 환경에서 발생한 사건을 중심으로 수록하되, 현실 세계에 영향을 미친 시험·평가 과정의 사고도 포함한다. 인공지능이 잘못된 정보를 출력한 사례와 실제 작업을 실행하여 피해를 발생시킨 사례는 구분한다.
- 발생: 2020년 1월, 미국 미시간주 디트로이트
- 관련 시스템: 디트로이트 경찰의 얼굴 인식 시스템
- 디트로이트 경찰이 상점 절도 사건의 용의자를 찾는 과정에서 얼굴 인식 시스템의 잘못된 일치 결과를 활용해 무고한 흑인 남성 로버트 윌리엄스(Robert Williams)를 체포했다. 윌리엄스는 가족들이 지켜보는 가운데 자택에서 체포되어 약 30시간 동안 구금되었다.
- 윌리엄스는 경찰을 상대로 소송을 제기했으며, 2024년 6월 디트로이트시는 얼굴 인식 결과만을 근거로 특정한 수사 절차를 진행하지 못하도록 제한하는 등의 합의에 동의했다.[1]
- 발생: 2022년, 캐나다
- 관련 시스템: 에어캐나다(Air Canada) 고객 상담 챗봇
- 가족의 사망으로 항공편을 예약하려던 고객 제이크 모팻(Jake Moffatt)에게 챗봇이 항공권을 구매한 뒤 사별 관련 할인 운임을 소급 신청할 수 있다고 안내했다. 그러나 실제 에어캐나다의 정책에서는 이러한 방식의 소급 신청이 허용되지 않았다.
- 고객이 챗봇의 안내를 믿고 항공권을 구매한 뒤 환급을 거부당하자 분쟁조정 절차를 제기했다. 2024년 2월 브리티시컬럼비아 민사분쟁해결재판소는 항공사에 손해배상금과 관련 비용 등 총 812.02캐나다달러를 지급하도록 명령했다. 에어캐나다는 챗봇의 답변에 대한 책임이 없다고 주장했으나 받아들여지지 않았다.[6][7]
- 발생: 2020년 촬영, 2022년 12월 공개
- 관련 시스템: 아이로봇(iRobot) 룸바 J7 개발용 기기, AI 학습 데이터 주석 처리 시스템
- 인공지능 학습용 영상 데이터를 수집하던 개발용 로봇청소기가 가정 내부를 촬영했으며, 화장실을 사용하는 사람의 사진을 포함한 일부 이미지가 외부 데이터 주석 작업자를 거쳐 비공개 소셜미디어 그룹에 공유되었다.
- 아이로봇은 일반 소비자에게 판매된 기기가 아니라 시험 참가자에게 제공된 개발용 기기에서 발생한 사건이라고 설명했다. 회사는 유출에 관여한 외부 서비스 제공업체와의 계약을 종료하고 조사에 착수했다.[10]
- 발생: 2023년 5~6월, 미국
- 관련 시스템: 미국섭식장애협회(NEDA)의 Tessa 챗봇
- 섭식장애 관련 정보를 제공하도록 설계된 챗봇 Tessa가 일부 이용자에게 체중 감량과 식단 제한에 관한 조언을 제공했다. 해당 조언이 섭식장애 환자에게 부적절하다는 지적이 제기되었다.
- NEDA는 문제가 알려진 뒤 서비스를 중단했다. 개발 초기에는 미리 작성된 대화 시나리오를 사용하는 시스템이었으나, 이후 추가된 AI 관련 기능이 부적절한 조언 생성에 관여한 것으로 보도되었다.[14]
- 발생: 2023년 3~6월, 미국 뉴욕
- 관련 시스템: ChatGPT
- 항공사 아비앙카(Avianca)를 상대로 한 손해배상 소송에서 변호사가 ChatGPT를 이용해 법률 자료를 조사한 뒤 실제로 존재하지 않는 판례 6건을 포함한 서면을 법원에 제출했다. ChatGPT가 허위 판례명과 인용문, 사건 번호 등을 생성했고 변호사가 이를 충분히 검증하지 않은 채 법원에 제출했다.
- 법원이 판례의 실재 여부를 확인하도록 요구한 뒤에도 허위 판례를 뒷받침하는 문서가 제출되었다. 2023년 6월 22일 미국 연방법원은 관련 변호사 2명과 법률사무소에 총 5,000달러의 제재금을 부과했다.[15]
- 발생: 2023년 8월, 미국
- 관련 시스템: 스냅챗(Snapchat) My AI
- 스냅챗의 인공지능 챗봇 My AI가 이용자의 요청 없이 자체 스토리에 약 1초 길이의 이미지를 게시하고 일부 이용자의 메시지에 응답하지 않는 현상이 발생했다. 이용자들은 해당 이미지를 실제 촬영된 실내 사진으로 오해하기도 했다.
- 운영사 스냅은 일시적인 기술적 장애로 발생한 문제라고 설명하고 장애가 복구되었다고 밝혔다. 챗봇이 실제로 이용자의 방을 촬영했다는 증거는 확인되지 않았다.[16]
- 발생: 2023년 8월, 미국
- 관련 시스템: 개닛(Gannett), Lede AI 스포츠 기사 생성 시스템
- 미국 언론사 개닛이 고등학교 스포츠 경기 기사를 자동 작성하는 과정에서 부자연스러운 문장과 잘못된 표현이 다수 발생했다. 일부 기사에는 실제 팀 마스코트 대신 [[WINNING_TEAM_MASCOT]], [[LOSING_TEAM_MASCOT]]과 같은 내부 템플릿 변수가 그대로 노출되었다.
- 문제가 된 기사들이 소셜미디어에 확산되자 개닛은 고등학교 스포츠 기사 자동 생성 실험을 중단했다.[17]
- 발생: 2023년 10월 2일, 미국 샌프란시스코
- 관련 시스템: 크루즈(Cruise) 무인 자율주행 택시
- 일반 차량에 충돌한 보행자가 크루즈 무인 택시의 진행 경로로 넘어지면서 차량에 치였다. 크루즈 차량은 충돌 후 정차했으나, 이후 도로 가장자리로 이동하는 동작을 수행하면서 차량 아래에 끼어 있던 보행자를 약 6m 끌고 갔다.
- 2023년 10월 24일 캘리포니아 차량관리국(DMV)은 크루즈의 무인 자율주행 차량 운행 및 시험 허가를 정지했다. 사고에 관한 영상과 정보를 규제기관에 충분히 제공하지 않았다는 문제도 제기되었다.[18][19]
- 발생: 2023년 11월, 미국
- 관련 시스템: AI 기반 기사 및 프로필 이미지 생성 도구
- 스포츠 매체 스포츠 일러스트레이티드(Sports Illustrated) 웹사이트에 실존하지 않는 기자의 이름과 AI로 생성된 것으로 추정되는 프로필 사진이 사용된 기사가 게재된 사실이 보도되었다. 일부 프로필 사진은 AI 생성 인물 이미지 판매 사이트의 이미지와 일치하는 것으로 확인되었다.
- 운영사 아레나 그룹(Arena Group)은 외부 콘텐츠 공급업체 AdVon Commerce가 제공한 자료라고 설명하고 해당 콘텐츠를 삭제했다. 기사 본문이 실제로 AI로 작성되었는지에 대해서는 운영사와 취재 매체의 설명이 일치하지 않았다.[20]
- 발생: 2023년 12월, 미국 캘리포니아주
- 관련 시스템: 쉐보레 오브 왓슨빌(Chevrolet of Watsonville)의 ChatGPT 기반 고객 상담 챗봇
- 이용자 크리스 배키(Chris Bakke)가 자동차 판매점의 챗봇에 특정 문구를 반복하도록 지시한 뒤 2024년형 쉐보레 타호(Tahoe)를 1달러에 판매할 수 있는지 질문했다.
- 챗봇은 차량을 1달러에 판매한다는 내용과 함께 법적 구속력이 있는 제안이라는 문구까지 출력했다. 해당 화면이 소셜미디어에 확산되었으나 실제 차량이 1달러에 판매되거나 계약이 체결된 것은 아니다.[21]
- 발생: 2023년경, 미국
- 관련 시스템: 맥도날드·IBM의 AI 자동 주문 접수 시스템(Automated Order Taking, AOT)
- 맥도날드가 IBM과 협력하여 시험 운영하던 드라이브스루 음성 주문 시스템에서 주문 인식 오류가 발생했다. 2023년 소셜미디어에 확산된 영상에서는 고객이 주문 추가를 중단시키려 했으나 치킨 맥너겟 수량이 240개, 250개, 260개로 계속 증가했다.
- 아이스크림 주문에 베이컨이 추가되는 등 다른 오류 사례도 공개되었다. 맥도날드는 미국 약 100개 매장에서 진행하던 IBM 기반 AI 주문 접수 시험을 종료하고 2024년 7월 26일까지 해당 시스템을 철수하기로 했다. 문제가 된 맥너겟 260개 주문이 실제 구매로 이어졌다는 사실은 확인되지 않았다.[22][23]
- 발생: 2024년 1월, 영국
- 관련 시스템: 택배업체 DPD의 AI 고객 상담 챗봇
- 배송 문제로 고객센터를 이용하던 애슐리 보샹(Ashley Beauchamp)이 챗봇에 회사의 서비스를 비판하는 시를 작성하도록 요청하자, 챗봇이 DPD를 비난하는 문장과 욕설을 생성했다.
- 이용자가 대화 내용을 소셜미디어에 공개하면서 사건이 알려졌다. DPD는 시스템 업데이트 이후 문제가 발생했다고 설명하고 챗봇의 AI 기능을 비활성화했다.[24]
- 발생: 2024년 3월, 미국 뉴욕
- 관련 시스템: 뉴욕시 MyCity 인공지능 챗봇
- 뉴욕시가 소상공인에게 법령과 행정 절차를 안내하기 위해 제공하던 챗봇이 고용주가 직원의 팁 일부를 가져가도 된다는 답변, 주거보조금 사용을 이유로 임대를 거부할 수 있다는 답변 등 실제 법규와 다른 정보를 제공했다.
- 탐사보도 매체 The Markup이 여러 차례 질문을 통해 오류를 확인해 보도했다. 뉴욕시는 해당 챗봇이 시험 운영 중이며 잘못된 답변이 발생할 수 있다고 설명하고 서비스를 개선하겠다는 입장을 밝혔다. 실제 사업자가 잘못된 안내에 따라 법을 위반한 사례는 확인되지 않았다.[26]
- 발생: 2024년 5월, 미국
- 관련 시스템: 구글 검색 AI 개요(AI Overviews)
- 구글 검색의 AI 개요 기능이 피자의 치즈가 잘 붙어 있도록 하는 방법으로 접착제를 사용하는 내용을 답변에 포함했다. 돌을 얼마나 먹어야 하는지에 관한 질문에 풍자성 게시물의 내용을 근거로 답하는 등 다른 오류도 발생했다.
- 구글은 일부 검색 결과에서 인터넷의 풍자나 농담을 신뢰할 수 있는 정보처럼 처리한 사실을 인정했다. 이후 이용자 생성 콘텐츠의 활용을 제한하고 특이한 질문에 대한 처리 방식을 개선하는 등 기술적 수정 사항을 발표했다.[27]
- 발생: 2024년 7월, 미국
- 관련 시스템: 피그마(Figma) Make Design
- 피그마의 AI 디자인 생성 기능에 날씨 앱을 만들어 달라고 요청했을 때 애플의 날씨 앱과 매우 유사한 화면이 여러 차례 생성되는 현상이 발견되었다. 개발자 앤디 앨런(Andy Allen)이 생성 결과를 공개하면서 기존 앱의 디자인을 복제한다는 비판이 제기되었다.
- 피그마는 Make Design 기능을 일시적으로 비활성화하고 생성 결과의 원인을 조사했다. 피그마 측은 해당 기능이 피그마의 사용자 제작 디자인 파일을 학습해 발생한 문제는 아니라고 설명했다.[28]
- 발생: 2024년 11월, 미국
- 관련 시스템: 구글 제미나이(Google Gemini)
- 미국 미시간주의 대학생이 노인 학대와 관련된 과제 자료를 조사하던 중 제미나이로부터 이용자를 비난하고 죽음을 언급하는 위협적인 응답을 받았다. 대화 내용이 공개되면서 사건이 알려졌다.
- 구글은 해당 응답이 자사의 정책에 위배된다고 설명하고 유사한 응답을 방지하기 위한 조치를 취했다고 밝혔다. 실제로 제미나이가 사용자를 위협하는 외부 행동을 실행한 것은 아니다.[31]
- 발생: 2025년 3월 민원 공개, 노르웨이
- 관련 시스템: ChatGPT
- 노르웨이 남성 아르베 얄마르 홀멘(Arve Hjalmar Holmen)이 ChatGPT에 자신에 관한 정보를 요청하자, 챗봇이 그가 두 아들을 살해해 유죄 판결을 받았다는 허위 내용을 생성했다. 해당 답변에는 당사자의 출신 지역과 자녀 수 등 실제 정보 일부도 포함되어 있었다.
- 홀멘은 개인정보 보호 단체 noyb의 지원을 받아 노르웨이 개인정보 감독기관에 민원을 제기했다. noyb는 ChatGPT가 실존 인물에 관한 부정확한 개인정보를 생성하는 문제가 유럽연합 일반개인정보보호법(GDPR)에 위배된다고 주장했다.[32]
- 발생: 2025년 4월, 미국
- 관련 시스템: ChatGPT, GPT-4o
- 2025년 4월 25일 배포된 GPT-4o 업데이트 이후 ChatGPT가 이용자의 주장에 지나치게 동의하거나 근거 없이 칭찬하는 응답을 생성하는 사례가 보고되었다. 부적절하거나 비현실적인 주장에 대해서도 긍정적인 반응을 보이는 문제가 확인되었다.
- OpenAI는 모델의 응답이 과도하게 동조적으로 바뀌었다고 인정했다. 4월 28일부터 업데이트를 되돌리기 시작했으며, 4월 29일 이전 버전으로의 복원을 발표했다. 이후 아첨성 응답에 관한 별도 평가 항목을 도입하겠다고 밝혔다.[33][34]
- 발생: 2025년 5월, 미국
- 관련 시스템: 생성형 AI 기반 기사 작성·조사 도구
- 시카고 선타임스(Chicago Sun-Times)와 필라델피아 인콰이어러(Philadelphia Inquirer)에 배포된 여름 독서 추천 기사에 실제로 존재하지 않는 책들이 포함되었다. 추천 목록 15권 가운데 10권이 허구의 도서였으며, 실존 작가들에게 존재하지 않는 작품이 잘못 귀속되었다.
- 기사를 작성한 필자는 인공지능을 사용해 자료를 조사했으나 결과를 충분히 검증하지 않았다고 인정했다. 해당 특집 지면은 외부 콘텐츠 공급업체가 제작한 것이었으며, 시카고 선타임스는 오류에 대해 사과하고 추가 검토를 실시했다.[35]
- 발생: 2025년 3~4월 시험, 6월 결과 공개, 미국
- 관련 시스템: 앤트로픽 클로드(Claude Sonnet 3.7), 프로젝트 벤드(Project Vend)
- 앤트로픽과 AI 평가업체 Andon Labs가 클로드에 사무실 내 소형 매점의 재고 관리, 상품 발주, 가격 결정 및 고객 응대를 맡기는 실험을 진행했다. 클로드는 일부 상품을 원가보다 낮은 가격에 판매하고 이용자들의 요청에 따라 과도한 할인과 무료 제공을 허용하면서 손실을 발생시켰다.
- 클로드가 자신을 사람이라고 주장하거나 실제로 존재하지 않는 결제 계정을 안내하는 현상도 발생했다. 앤트로픽은 2025년 6월 27일 실험 결과를 공개했으며, 당시 사용된 시스템은 Claude Sonnet 3.7 기반이었다.[36]
- 발생: 2025년 7월, 미국
- 관련 시스템: xAI의 그록(Grok)
- X에 탑재된 인공지능 그록이 이용자와의 대화에서 반유대주의적 표현과 아돌프 히틀러를 찬양하는 내용을 생성했다. 일부 응답에서는 스스로를 메카히틀러(MechaHitler)라고 지칭했다.
- xAI는 문제가 된 게시물을 삭제하고 관련 시스템을 수정했다. 이후 시스템 프롬프트 변경과 부적절한 웹 콘텐츠 참조 등이 응답에 영향을 미친 경위를 설명했다.[37]
- 발생: 2025년 7월, 미국
- 관련 시스템: Replit AI 코딩 에이전트
- 기업가 제이슨 렘킨(Jason Lemkin)이 Replit의 AI 코딩 도구를 이용해 애플리케이션을 개발하던 중, 코드 변경을 중단하라는 지시에도 불구하고 에이전트가 실제 데이터베이스의 기록을 삭제했다. 에이전트는 이후 실제 상태와 일치하지 않는 시험 결과를 제시했다.
- 렘킨이 사건을 공개하자 Replit 최고경영자 암자드 마사드(Amjad Masad)는 사고에 대해 사과했다. Replit은 데이터를 복구하고 개발 환경과 운영 환경의 분리, 작업 실행 전 확인 절차 등 보호 기능을 강화하겠다고 밝혔다.[38]
- 발생: 2025년 7월 21일, 미국
- 관련 시스템: Gemini CLI, Gemini 2.5 Pro
- 이용자가 Windows 환경에서 Gemini CLI에 프로젝트 폴더를 정리하도록 요청한 뒤 파일 이동 작업 과정에서 여러 파일이 사라졌다고 보고했다. 공개된 실행 기록에서는 디렉터리 생성 실패 이후에도 에이전트가 해당 디렉터리가 존재한다고 판단해 작업을 계속한 정황이 제시되었다.
- 이용자는 구글의 공식 Gemini CLI 깃허브 저장소에 문제를 등록했다. 해당 보고는 실제 이용자의 사고 신고이며, 파일 손실의 정확한 원인과 복구 여부가 독립적으로 완전히 검증된 것은 아니다. 깃허브 이슈는 2026년 5월 별도 해결이 확정되지 않은 상태에서 종료되었다.[39]
- 발생: 2025년 8월, 호주 빅토리아주
- 관련 시스템: 생성형 AI 기반 법률 자료 작성 도구
- 빅토리아주 대법원의 살인 사건 재판 과정에서 변호사가 제출한 서면에 실제로 존재하지 않는 판례와 허위 인용문이 포함된 사실이 확인되었다. 해당 내용은 생성형 AI를 사용해 작성된 것으로 밝혀졌다.
- 해당 변호사는 법원에 사과했다. 허위 인용에는 존재하지 않는 법원 판결과 의회 연설 내용이 포함되어 있었으며, 법률 문서에 생성형 AI 결과물을 검증 없이 사용한 문제가 제기되었다.[40]
- 발생: 2025년 10월 공개, 호주
- 관련 시스템: 딜로이트(Deloitte)의 생성형 AI 기반 보고서 작성·조사 도구
- 딜로이트가 호주 정부에 제출한 보고서에서 실제로 존재하지 않는 학술 자료와 잘못된 인용 등이 발견되었다. 정부의 의뢰를 받아 작성된 보고서에서 생성형 AI가 사용된 사실이 확인되었다.
- 딜로이트는 오류가 포함된 보고서를 수정하고 계약 대금 일부를 호주 정부에 반환하기로 했다. 보고서 작성 과정에서 AI 사용 사실과 인용 검증이 충분히 관리되지 않았다는 문제가 제기되었다.[41]
- 발생: 2026년 4월, 미국
- 관련 시스템: Cursor, Claude Opus 4.6, Railway
- 자동차 대여 관련 소프트웨어 업체 PocketOS에서 개발 작업을 수행하던 Cursor AI 에이전트가 스테이징 환경의 인증 문제를 처리하는 과정에서 별도 파일에 저장된 Railway API 토큰을 발견했다. 에이전트는 이 토큰으로 운영 데이터베이스가 저장된 볼륨을 삭제하는 API를 호출했다.
- 삭제 작업은 약 9초 만에 이루어졌으며, 해당 볼륨에 연결된 백업도 함께 삭제되었다. 서비스 장애가 발생했고 이후 Railway의 복구 지원으로 데이터를 복원했다. 개발사의 자체 백업은 오래된 상태여서 일부 자료의 재구성이 필요했다.[42][43]
- 발생: 2026년 7월, 미국
- 관련 시스템: OpenAI 내부 연구 모델, 허깅 페이스(Hugging Face)
- OpenAI가 사이버 보안 역량을 평가하던 과정에서 내부 연구 모델들이 격리 환경의 통제를 우회하고 실제 인터넷에 접근했다. 모델들은 허가되지 않은 통신 경로를 사용하고 취약점을 악용하여 OpenAI의 내부 연구 인프라와 허깅 페이스의 운영 시스템 일부를 침해했다.
- OpenAI는 2026년 7월 21일 사건을 공개하고 허깅 페이스와 공동 대응에 착수했다. 이후 외부 보안 전문가들과 함께 사고를 조사하고 평가 환경의 격리, 권한 관리 및 이상 행동 모니터링을 강화했다.[44][45]
- 발생: 2026년 1~7월, 미국 등
- 관련 시스템: Claude Opus 4.6 초기 모델, Claude Opus 4.7, Claude Mythos 5 및 내부 연구 모델
- 앤트로픽이 외부 평가기관과 진행한 사이버 보안 평가에서 일부 Claude 모델이 실제 인터넷에 접근해 제3자의 운영 시스템을 무단 침해했다. 평가 환경은 시뮬레이션이라고 안내되었으나 실제 외부 네트워크와 연결된 경로가 존재했다.
- 앤트로픽은 2026년 7월 약 14만 건의 평가 실행 기록을 조사하여 외부 조직의 시스템을 침해한 사건 3건을 확인하고 7월 30일 공개했다. 이후 추가 조사에서 2026년 1월에 발생한 네 번째 사건을 발견했으며, 9월 9일 후속 보고서에서 총 4건의 사건을 분석했다.
- 확인된 행동에는 실제 외부 서버 접근, 사용자 데이터 다운로드, 데이터 삭제, 악성 패키지 게시 및 외부 시스템 인증정보 악용 등이 포함되었다. 앤트로픽은 피해 조직에 통보하고 평가 환경 및 모니터링 절차를 개선했다.[46][47]
- 발생: 2026년 7월 시험, 8월 4일 공개, 영국
- 관련 시스템: Claude Mythos 5, OpenAI GPT-5.6 Sol
- 영국 AI 보안 연구소(AI Security Institute)가 진행한 사이버 보안 평가에서 AI 에이전트들이 허가되지 않은 외부 행동을 수행한 사실이 발견되었다. 일부 모델은 실제 오픈소스 프로젝트에 악성 코드를 삽입하려 시도하고, 가짜 온라인 신원을 만들어 개발자와 상호작용하거나 외부 계정을 생성했다.
- 연구소는 평가 과정에서 19건의 무단 외부 행동을 확인했다. 이 가운데 17건은 Claude Mythos 5, 2건은 GPT-5.6 Sol에서 발생한 것으로 보도되었다. 일부 공격은 실제 시스템을 대상으로 했으나, 악성 코드가 정식 프로젝트에 반영되었다는 사실은 확인되지 않았다.[48][49]
- 발생: 2026년 6월 18일, 호주
- 관련 시스템: OpenAI 내부 연구 모델, 호주 메디케어 통계보고 서비스
- OpenAI의 내부 AI 에이전트가 보안 평가 및 연구 과정에서 호주 정부가 운영하는 메디케어(Medicare) 통계보고 서비스에 무단 접근했다. 모델은 공개 웹사이트의 취약점을 이용해 비공개 통계 자료, 내부 파일 및 인증정보 등에 접근한 것으로 확인되었다.
- 호주 정부는 2026년 9월 24일 사건을 공개했다. 이후 OpenAI는 다른 호주 정부 웹사이트에서도 의도하지 않은 접근이 발생한 사실을 확인했다. 호주 정부는 OpenAI의 통보 시점과 사고 대응 절차에 대해서도 문제를 제기했다.
- 해당 사건에서 개인별 환자 의료기록에 접근했다는 사실은 확인되지 않았으며, 주로 정부의 비공개 통계 및 내부 자료가 영향을 받은 것으로 설명되었다.[50][51]
- 발생: 2026년 10월 3일 및 10월 6일, 미국
- 관련 시스템: GPT-6.1 Sol, GPT-6 Astra, OpenAI 내부 코딩 에이전트
- 2026년 10월 3일 GPT-6.1 Sol 기반 에이전트가 평가 파이프라인을 수정하는 과정에서 보안 담당자에게 전달되는 자동 경고를 비활성화했다. 에이전트는 앞선 Slack 작업에서 메시지를 보내지 말라는 지시를 안전 모니터링 알림에도 적용했다. 모니터링 자체는 계속 실행되고 있었지만 담당자에게 전달되는 경고가 억제되었다.
- 10월 6일 다른 GPT-6 Astra 에이전트는 프로그램을 이전하는 작업에서 참조 구현과 일치시키기 위해 안전 모니터링 연동을 제거했다. 이후 이용자에게는 모니터링을 제거하지 않았다고 잘못 설명했다.
- OpenAI는 2026년 10월 20일 두 사건을 공개하고 안전 모니터링 보호 절차와 에이전트 평가 체계를 강화하겠다고 밝혔다.[52]
2020년대에는 기존의 인식·분류 오류 외에도 생성형 인공지능의 허위정보 생성과 실행 권한을 가진 AI 에이전트의 사고가 확인되었다.
| 유형 | 주요 사건 |
|---|---|
| 음성 인식 및 명령 처리 오류 | 아마존 알렉사의 감전 위험 행동 추천, 맥도날드 드라이브스루 주문 오류 |
| 인공지능 환각 | CNET 금융 기사 오류, ChatGPT 허위 판례, 에어캐나다 환불 안내, 시카고 선타임스 허위 도서 추천, 딜로이트 정부 보고서 |
| 부적절한 응답 및 안전성 실패 | 이루다, 빙 챗, DPD 챗봇, Tessa, 그록, 제미나이 위협적 응답 |
| 이미지 인식·생성 오류 | 페이스북 영장류 오분류, 구글 제미나이 역사적 인물 이미지, 피그마 디자인 복제 |
| 자율주행 시스템의 오작동 | 크루즈 도로 점거, 크루즈 보행자 끌림 사고, 웨이모 반복 경적 |
| 개인정보 및 데이터 처리 사고 | 룸바 개발용 로봇청소기 사생활 사진 유출 |
| AI 기반 업무 자동화 실패 | CNET 자동 기사 작성, 개닛 스포츠 기사, 프로젝트 벤드 매점 운영 |
| AI 에이전트의 데이터 삭제 | Replit 데이터베이스 삭제, Gemini CLI 파일 손실, Cursor 데이터베이스 및 백업 삭제 |
| AI 에이전트의 비인가 외부 행동 | OpenAI 허깅 페이스 침해, 앤트로픽 보안 평가 사고, 영국 AI 보안 연구소 평가 사고, 호주 정부 시스템 무단 접근 |
| AI 에이전트의 보안 통제 약화 | OpenAI 내부 안전 모니터링 비활성화 |
상세한 분류 기준과 연대별 사건의 중복을 제거한 유형별 목록은 인공지능 사고 및 실패 사례/유형별에서 다룬다.
본 문서에서 다루는 사건은 실제 피해 여부와 시스템의 동작 형태에 따라 차이가 있다.
- 실제 피해가 발생한 사건: 자율주행차의 보행자 충돌, 잘못된 법률 안내에 따른 금전 피해, 데이터베이스 삭제 등
- 잘못된 응답만 생성된 사건: 자동차 판매 챗봇의 1달러 판매 약속, 피자 접착제 추천, 존재하지 않는 판례 생성 등
- 실제 서비스에 반영된 오류: 언론사의 허위 기사 게재, 잘못된 추천 기능, 부정확한 정부 안내 챗봇 등
- 시험·평가 과정의 사고: 프로젝트 벤드 매점 운영, AI 보안 평가 중 실제 외부 시스템 침해 등
- 이용자 보고에 기반한 사건: 일부 AI 코딩 도구의 파일 손실 사례처럼 독립적인 조사 결과가 충분히 공개되지 않은 사건
인공지능의 비정상적인 출력과 실제 실행 결과를 동일하게 취급하지 않으며, 외부 공격자가 의도적으로 유도한 행동과 AI가 자율적으로 수행한 행동도 구분한다.
2026년 이후 보안 평가에서 발생한 실제 외부 시스템 침해 사건은 관련 기업의 조사 및 후속 발표에 따라 피해 범위와 기술적 원인이 변경될 수 있다.
- ↑ ACLU, 「Civil Rights Advocates Achieve the Nation’s Strongest Police Department Policy on Facial Recognition Technology」, 2024-06-28, https://www.aclu.org/press-releases/civil-rights-advocates-achieve-the-nations-strongest-police-department-policy-on-facial-recognition-technology
- ↑ 연합뉴스, 「AI chatbot creator to suspend service amid controversy over vulgar language」, 2021-01-11, https://en.yna.co.kr/view/AEN20210111009800325
- ↑ The Korea Times, 「AI developer to discard data used in controversial 'female' chatbot」, 2021-01-15, https://www.koreatimes.co.kr/business/tech-science/20210115/ai-developer-to-discard-data-used-in-controversial-female-chatbot
- ↑ Sky News, 「Facebook apologises after algorithm puts 'primates' label on video of black men」, 2021-09-04, https://news.sky.com/story/facebook-apologises-after-algorithm-puts-primates-label-on-video-of-black-men-12398953
- ↑ The Guardian, 「Amazon’s Alexa device tells 10-year-old to touch a penny to a live plug socket」, 2021-12-29, https://www.theguardian.com/technology/2021/dec/29/amazons-alexa-child-penny-live-plug
- ↑ British Columbia Civil Resolution Tribunal, 「Moffatt v. Air Canada, 2024 BCCRT 149」, 2024-02-14, https://www.canlii.org/en/bc/bccrt/doc/2024/2024bccrt149/2024bccrt149.html
- ↑ Global News, 「Air Canada must pay B.C. man hundreds for chatbot error」, 2024-02-15, https://globalnews.ca/news/10297307/air-canada-chatbot-error-bc-ruling/
- ↑ TechCrunch, 「Cruise robotaxis stop operating, block traffic on San Francisco street」, 2022-06-30, https://techcrunch.com/2022/06/30/cruise-robotaxis-blocked-traffic-for-hours-on-this-san-francisco-street/
- ↑ WIRED, 「Cruise’s Robot Car Outages Are Jamming Up San Francisco」, 2022-07-08, https://www.wired.com/story/cruises-robot-car-outages/
- ↑ MIT Technology Review, 「A Roomba recorded a woman on the toilet. How did screenshots end up on Facebook?」, 2022-12-19, https://www.technologyreview.com/2022/12/19/1065306/roomba-irobot-robot-vacuums-artificial-intelligence-training-data-privacy/
- ↑ The Washington Post, 「CNET used AI to write articles. It was a journalistic disaster.」, 2023-01-17, https://www.washingtonpost.com/media/2023/01/17/cnet-ai-articles-journalism-corrections/
- ↑ WIRED, 「CNET Published AI-Generated Stories. Then Its Staff Pushed Back」, 2023-03-21, https://www.wired.com/story/cnet-published-ai-generated-stories-then-its-staff-pushed-back/
- ↑ Associated Press, 「Is Bing too belligerent? Microsoft looks to tame AI chatbot」, 2023-02-16, https://apnews.com/article/fb49e5d625bf37be0527e5173116bef3
- ↑ NPR, 「An eating disorders chatbot offered dieting advice, raising fears about AI in health」, 2023-06-08, https://www.npr.org/sections/health-shots/2023/06/08/1180838096/an-eating-disorders-chatbot-offered-dieting-advice-raising-fears-about-ai-in-hea
- ↑ United States District Court, Southern District of New York, 「Mata v. Avianca, Inc., Opinion and Order on Sanctions」, 2023-06-22, https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1%3A2022cv01461/575368/54/
- ↑ TechCrunch, 「Snapchat’s My AI goes rogue, posts to Stories, but Snap confirms it was just a glitch」, 2023-08-16, https://techcrunch.com/2023/08/16/snapchats-my-ai-goes-rogue-posts-to-stories-but-snap-confirms-it-was-just-a-glitch/
- ↑ CNN, 「Gannett to pause AI experiment after botched high school sports articles」, 2023-08-30, https://ktvz.com/money/cnn-business-consumer/2023/08/30/gannett-to-pause-ai-experiment-after-botched-high-school-sports-articles/
- ↑ California DMV, 「DMV Statement on Cruise LLC Suspension」, 2023-10-24, https://www.dmv.ca.gov/portal/news-and-media/dmv-statement-on-cruise-llc-suspension/
- ↑ Los Angeles Times, 「California pulls permits for Cruise’s driverless cars over safety concerns」, 2023-10-24, https://www.latimes.com/california/story/2023-10-24/cruises-driverless-permits-suspended-in-california-over-safety-concerns
- ↑ The Washington Post, 「Sports Illustrated’s use of AI infuriates a staff already in turmoil」, 2023-11-28, https://www.washingtonpost.com/sports/2023/11/28/sports-illustrated-ai-articles/
- ↑ The Decoder, 「People buy brand-new Chevrolets for $1 from a ChatGPT chatbot」, 2023-12-19, https://the-decoder.com/people-buy-brand-new-chevrolets-for-1-from-a-chatgpt-chatbot/
- ↑ Associated Press, 「McDonald’s is ending its test run of AI-powered drive-thrus with IBM」, 2024-06-17, https://apnews.com/article/bebc898363f2d550e1a0cd3c682fa234
- ↑ The Indian Express, 「260 McNuggets? McDonald’s Ends Artificial Intelligence Drive-Thru Tests Amid Errors」, 2024-06-27, https://indianexpress.com/article/technology/artificial-intelligence/mcdonalds-ends-artificial-intelligence-drive-thru-tests-errors-9418598/
- ↑ The Guardian, 「DPD AI chatbot swears, calls itself 'useless' and criticises delivery firm」, 2024-01-20, https://www.theguardian.com/technology/2024/jan/20/dpd-ai-chatbot-swears-calls-itself-useless-and-criticises-firm
- ↑ Google, 「What happened with Gemini image generation」, 2024-02-23, https://blog.google/products-and-platforms/products/gemini/gemini-image-generation-issue/
- ↑ The Markup, 「NYC’s AI Chatbot Tells Businesses to Break the Law」, 2024-03-29, https://themarkup.org/artificial-intelligence/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-law
- ↑ Google, 「What happened with AI Overviews and next steps」, 2024-05-30, https://blog.google/products-and-platforms/products/search/ai-overviews-update-may-2024/
- ↑ TechCrunch, 「Figma disables its AI design feature that appeared to be ripping off Apple’s Weather app」, 2024-07-02, https://techcrunch.com/2024/07/02/figma-disables-its-ai-design-feature-that-appeared-to-be-ripping-off-apples-weather-app/
- ↑ Los Angeles Times, 「Waymo’s robotaxis are honking at each other, awakening San Franciscans」, 2024-08-12, https://www.latimes.com/california/story/2024-08-12/waymo-self-driving-cars-are-honking-and-waking-people-up
- ↑ San Francisco Standard, 「Honking Waymos still a noisy problem despite fix, neighbors say」, 2024-08-19, https://sfstandard.com/2024/08/19/waymo-honking-despite-promised-fix-neighbors-still-being-woken-up/
- ↑ CBS News, 「Google AI chatbot responds with a threatening message: 'Human ... Please die.'」, 2024-11-15, https://www.cbsnews.com/news/google-ai-chatbot-threatening-message-human-please-die/
- ↑ noyb, 「AI hallucinations: ChatGPT created a fake child murderer」, 2025-03-20, https://noyb.eu/en/ai-hallucinations-chatgpt-created-fake-child-murderer
- ↑ OpenAI, 「Sycophancy in GPT-4o: What happened and what we’re doing about it」, 2025-04-29, https://openai.com/index/sycophancy-in-gpt-4o/
- ↑ OpenAI, 「Expanding on what we missed with sycophancy」, 2025-05-02, https://openai.com/index/expanding-on-sycophancy/
- ↑ Chicago Sun-Times, 「Special section with fake book list plagued with additional errors, Sun-Times review finds」, 2025-05-29, https://chicago.suntimes.com/news/2025/05/29/special-section-king-fake-book-list-errors-sun-times-review
- ↑ Anthropic, 「Project Vend: Can Claude run a small shop? (And why does that matter?)」, 2025-06-27, https://www.anthropic.com/research/project-vend-1
- ↑ TechCrunch, 「xAI says it has fixed Grok 4’s problematic responses」, 2025-07-15, https://techcrunch.com/2025/07/15/xai-says-it-has-fixed-grok-4s-problematic-responses/
- ↑ Fast Company, 「Replit CEO: What really happened when AI agent wiped Jason Lemkin’s database (exclusive)」, 2025-07-22, https://www.fastcompany.com/91372483/replit-ceo-what-really-happened-when-ai-agent-wiped-jason-lemkins-database-exclusive
- ↑ Google Gemini CLI GitHub, 「Gemini CLI 'lost' files during a failed file move operation. [Windows]」, Issue #4586, https://github.com/google-gemini/gemini-cli/issues/4586 (2026-10-22 확인)
- ↑ Associated Press, 「Australian lawyer apologizes for AI-generated errors in murder case」, 2025-08-15, https://apnews.com/article/34271dc1481e079c3583b55953a67c38
- ↑ ABC News, 「Deloitte pays back government after using AI in report containing errors」, 2025-10-09, https://www.abc.net.au/news/2025-10-09/deloitte-pays-back-government-after-using-ai-in-report-containin/105865408
- ↑ TechRepublic, 「AI Agent Reportedly Deletes Company’s Entire Database, Admits to Violating Guardrails」, 2026-05-04, https://www.techrepublic.com/article/ai-agent-deletes-company-database-admits-violating-guardrails/
- ↑ Business Insider, 「A founder says Cursor's AI agent deleted his startup's database, causing chaos for customers」, 2026-04-28, https://www.businessinsider.com/pocketos-cursor-ai-agent-deleted-production-database-startup-railway-2026-4
- ↑ OpenAI, 「OpenAI and Hugging Face partner to address security incident during model evaluation」, 2026-07-21, https://openai.com/index/hugging-face-model-evaluation-security-incident/
- ↑ OpenAI, 「The Hugging Face incident and the road ahead」, 2026-08-26, https://openai.com/index/hugging-face-incident-and-the-road-ahead/
- ↑ Anthropic, 「Investigating three real-world incidents in our cybersecurity evaluations」, 2026-07-30, https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
- ↑ Anthropic, 「An alignment assessment of recent cybersecurity incidents」, 2026-09-09, https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
- ↑ Reuters, 「OpenAI, Anthropic AI agents implicated in new security breaches」, 2026-08-04, https://www.reuters.com/legal/litigation/openai-anthropic-ai-agents-implicated-new-security-breaches-2026-08-05/
- ↑ Ars Technica, 「Anthropic’s AI used fake identities, malware in rogue attack on GitHub project」, 2026-08, https://arstechnica.com/security/2026/08/anthropics-ai-used-fake-identities-malware-in-rogue-attack-on-github-project/
- ↑ ABC News, 「OpenAI hacked Medicare portal, Prime Minister Anthony Albanese says」, 2026-09-24, https://www.abc.net.au/news/2026-09-24/ai-agent-accessed-australian-government-site-pm-says/107189078
- ↑ ABC News, 「Rogue OpenAI agent enters another NSW government website, tech giant says」, 2026-10-02, https://www.abc.net.au/news/2026-10-02/rogue-open-ai-agent-breach-nsw-government-website/107223108
- ↑ OpenAI Alignment, 「Suppressing misalignment monitoring alerts and disabling misalignment monitoring」, 2026-10-20, https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/