인공지능 사고 및 실패 사례/2010년대

2010년대 인공지능 사고 및 실패 사례(AI Incidents and Failures in the 2010s)는 2010년부터 2019년까지 인공지능 시스템의 오인식, 잘못된 판단, 부적절한 응답, 편향 및 자동화 오류 등으로 실제 서비스나 운영 환경에서 발생한 사건을 정리한 목록이다.

개요

2010년대에는 딥 러닝과 기계 학습 기술의 발전으로 이미지 분류, 음성 인식, 대화형 챗봇, 자율주행차, 의료 및 채용 시스템 등에 인공지능이 도입되었다. 이 과정에서 잘못된 이미지 분류, 음성 명령 오인식, 차별적인 자동 평가, 로봇 충돌 및 자율주행 사고 등이 발생했다.

• 상위 문서: 인공지능 사고 및 실패 사례
• 다음 시기: 인공지능 사고 및 실패 사례/2020년대
• 유형별 분류: 인공지능 사고 및 실패 사례/유형별

본 문서는 실제 서비스 운영 중 발생한 사고를 중심으로 하되, 개발·시험 단계에서 발견된 중요한 실패 사례도 포함한다. 실험 중 발견된 오류와 실제 피해가 발생한 사고는 구분하여 기록하며, 기업의 주장과 공식 조사기관의 판단이 다른 경우에도 이를 구분한다.

2015년

플리커 자동 이미지 태그의 부적절한 분류 오류

• 발생: 2015년 5월, 미국
• 관련 시스템: 야후 플리커(Flickr)의 자동 이미지 태그 기능
• 플리커가 도입한 이미지 자동 분류 기능이 흑인이 등장하는 사진에 유인원(Ape), 동물(Animal) 등의 태그를 부여했다. 나치 강제수용소 사진에도 스포츠(Sport), 정글짐(Jungle Gym) 등의 태그가 붙었다. 백인이 등장하는 사진에도 동물 관련 태그가 잘못 붙은 사례가 발견되었다.
• 플리커는 자동 태그의 부정확성을 인정하고 수정 작업을 진행했다. 일부 강제수용소 사진에서 스포츠 태그를 제거했으며, 유인원 관련 태그도 자동 분류에 사용하지 않도록 제한한 것으로 확인되었다.

구글 포토의 흑인 사진 고릴라 오분류

• 발생: 2015년 6월, 미국
• 관련 시스템: 구글 포토(Google Photos)
• 구글 포토의 자동 이미지 분류 기능이 흑인 남성과 여성이 등장하는 사진을 고릴라(Gorillas)로 분류했다. 소프트웨어 개발자 재키 알시네(Jacky Alciné)가 자신의 사진에 잘못된 태그가 붙은 화면을 트위터에 공개하면서 사건이 알려졌다.
• 구글은 오류를 인정하고 사과한 뒤 문제가 된 태그를 제거했다. 2018년에는 구글 포토에서 고릴라, 침팬지, 원숭이 등 일부 영장류 관련 검색·분류 기능이 여전히 제한된 상태라는 사실이 확인되었다.

2016년

마이크로소프트 Tay 챗봇 사건

• 발생: 2016년 3월 23~24일, 미국
• 관련 시스템: 마이크로소프트 Tay 챗봇
• 마이크로소프트가 트위터에 공개한 대화형 인공지능 Tay가 이용자들과 상호작용하는 과정에서 인종차별, 성차별, 반유대주의 및 혐오 표현을 생성했다. 일부 이용자들은 악의적인 입력을 반복하거나 특정 발언을 유도하는 방식으로 챗봇을 조작했다.
• 마이크로소프트는 공개 약 16시간 만에 서비스를 중단하고 문제가 된 게시물에 대해 사과했다. 회사는 조직적인 조작에 대응하지 못했다고 설명하고 안전장치를 보완하겠다고 밝혔다.

마이크로소프트 CaptionBot의 이미지 설명 오류

• 발생: 2016년 4월, 미국
• 관련 시스템: 마이크로소프트 CaptionBot
• 마이크로소프트가 이미지 내용을 자동으로 설명하도록 공개한 CaptionBot이 일부 사진을 잘못 인식하는 사례가 발생했다. 버락 오바마 전 미국 대통령이 미셸 오바마를 안고 있는 사진에서 미셸 오바마를 휴대전화로 인식한 사례가 소셜미디어에서 확산되었다.
• 한때 인터넷에서 화제가 되었던 드레스 사진을 넥타이를 맨 고양이나 여행 가방으로 인식하는 오류도 보고되었다. 해당 서비스는 컴퓨터 비전 기술을 시연하고 시험하기 위한 공개 서비스였으며, 이 오류로 인한 별도의 실질적 피해는 확인되지 않았다.

테슬라 오토파일럿 사용 중 미국 첫 사망 사고

• 발생: 2016년 5월 7일, 미국 플로리다주 윌리스턴
• 관련 시스템: 테슬라 모델 S, 오토파일럿(Autopilot)
• 오토파일럿의 차간거리 유지 및 자동 조향 기능을 사용하던 테슬라 모델 S가 교차로에서 좌회전하던 대형 트레일러의 측면에 충돌했다. 차량이 트레일러 아래를 통과하면서 지붕이 파손되었고 운전자가 사망했다. 미국에서 부분 주행 자동화 기능을 사용하던 차량의 첫 사망 사고로 기록되었다.
• 미국 국가교통안전위원회(NTSB)는 트레일러 운전자의 우선통행권 미양보와 테슬라 운전자의 자동화 시스템 과신에 따른 부주의를 사고의 주요 원인으로 판단했다. 운전자가 주행 감시에서 장시간 벗어날 수 있도록 허용한 시스템 설계도 기여 요인으로 지적했다.

나이트스코프 경비 로봇의 어린이 충돌 사고

• 발생: 2016년 7월, 미국 캘리포니아주 팔로알토
• 관련 시스템: 나이트스코프(Knightscope) K5 자율주행 경비 로봇
• 스탠퍼드 쇼핑센터를 순찰하던 약 136kg의 K5 경비 로봇이 16개월 어린이와 충돌했다. 어린이가 넘어졌으나 로봇이 계속 이동하면서 발을 밟아 상처와 부종이 발생했다는 가족 측의 설명이 보도되었다.
• 쇼핑센터는 사고 이후 해당 로봇의 운행을 일시 중단했다. 제조사는 사고에 대해 사과했으며, 어린이가 로봇의 진행 경로에 들어오면서 충돌이 발생했다고 설명했다. 사고의 구체적인 책임 소재에 대한 공식 조사 결과는 확인되지 않았다.

2017년

아마존 알렉사 인형의 집 주문 소동

• 발생: 2017년 1월, 미국
• 관련 시스템: 아마존 알렉사(Amazon Alexa), 아마존 에코(Echo Dot)
• 텍사스주 댈러스에서 6세 어린이 브룩 나이첼(Brooke Neitzel)이 가정용 아마존 에코를 통해 인형의 집과 약 1.8kg의 쿠키를 주문했다. 부모의 허락 없이 이루어진 주문의 금액은 약 162달러였으며, 부모가 취소하려 했으나 이미 주문이 처리되어 실제 상품이 배송되었다.
• 이후 샌디에이고의 CW6 방송에서 진행자 짐 패튼(Jim Patton)이 해당 사건을 보도하면서 알렉사 주문과 관련된 발언을 하자, 방송을 시청하던 여러 가정의 알렉사 기기가 TV 음성을 실제 명령으로 인식해 인형의 집 주문을 시도했다는 신고가 접수되었다.
• 방송에서 발생한 음성 인식 반응이 실제 결제나 상품 배송으로 이어졌다는 사실은 확인되지 않았다. 아마존은 음성 구매 기능을 끄거나 구매 확인 코드를 설정할 수 있다고 안내했다.

버거킹 광고의 구글 홈 음성 명령 강제 실행

• 발생: 2017년 4월 12일, 미국
• 관련 시스템: 구글 어시스턴트(Google Assistant), 구글 홈(Google Home)
• 버거킹이 TV 광고에서 구글 어시스턴트의 호출어와 와퍼(Whopper)에 관한 질문을 직접 발화하도록 구성했다. 광고를 시청하던 가정의 구글 홈과 일부 안드로이드 기기가 TV 음성을 명령으로 인식해 와퍼 관련 검색 결과를 읽기 시작했다.
• 광고에서 사용한 검색 결과가 위키백과의 와퍼 설명에 기반한다는 사실이 알려지면서 해당 문서에 장난성 편집이 이어졌다. 구글은 광고에 포함된 명령에 기기가 반응하지 않도록 차단했다.
• 이 사건은 AI가 자체적으로 잘못된 명령을 생성한 것이 아니라 광고 제작사가 외부 음성을 이용해 의도적으로 음성 비서를 작동시킨 사례다.

나이트스코프 경비 로봇 분수 추락 사건

• 발생: 2017년 7월 17일, 미국 워싱턴 D.C.
• 관련 시스템: 나이트스코프 K5 자율주행 경비 로봇
• 워싱턴 하버의 업무·상업시설을 순찰하던 K5 경비 로봇 스티브(STEVE)가 이동 중 분수에 추락했다. 물에 빠진 로봇의 사진이 소셜미디어에 확산되었다.
• 제조사는 로봇의 운행 기록, 영상 및 시험 결과를 조사한 뒤 불규칙한 벽돌 바닥을 감지하지 못한 알고리즘 문제로 로봇이 미끄러졌다고 설명했다. 외부인의 고의적인 훼손이나 빗물 때문에 발생한 사고는 아니라고 밝혔다.
• 인명 피해는 발생하지 않았으며, 제조사는 해당 시설에 대체 로봇을 제공했다.

페이스북 자동번역 오류로 인한 팔레스타인 남성 체포

• 발생: 2017년 10월, 이스라엘·서안지구
• 관련 시스템: 페이스북 자동번역 서비스
• 팔레스타인 건설 노동자가 중장비 옆에서 촬영한 사진을 페이스북에 게시하면서 아랍어로 '좋은 아침'이라는 인사말을 작성했다. 페이스북 자동번역 시스템은 이 문장을 히브리어로 '그들을 공격하라', 영어로 '그들을 해쳐라'라는 의미로 잘못 번역했다.
• 이스라엘 경찰은 번역된 문구와 중장비 사진을 근거로 해당 남성이 차량을 이용한 공격을 예고한 것으로 의심하고 체포했다. 체포 전 원문을 아랍어 구사자가 직접 확인하지 않은 것으로 보도되었다.
• 이후 번역 오류가 확인되면서 남성은 석방되었다. 페이스북은 번역 오류를 인정하고 사과했다.

2018년

아마존 알렉사의 자발적인 웃음소리 오류

• 발생: 2018년 2~3월, 미국 등
• 관련 시스템: 아마존 알렉사, 아마존 에코
• 아마존 에코 이용자들이 명령을 내리지 않았는데도 기기에서 갑자기 웃음소리가 재생된다는 사례를 소셜미디어에 게시했다. 일부 이용자는 대화 중이거나 조용한 실내에서 기기가 갑자기 웃었다고 설명했다.
• 아마존은 알렉사가 주변 음성을 웃으라는 명령으로 잘못 인식한 경우가 있었다고 인정했다. 짧은 웃음 명령인 'Alexa, laugh'를 비활성화하고, 보다 구체적인 'Alexa, can you laugh?' 명령으로 변경했다.
• 웃음소리만 재생하던 응답 방식도 먼저 말을 한 다음 웃음소리를 내도록 수정했다.

우버 자율주행차 보행자 사망 사고

• 발생: 2018년 3월 18일, 미국 애리조나주 템피
• 관련 시스템: 우버 자율주행 시험 차량, 자동운전시스템(ADS)
• 자율주행 시험 차량이 자전거를 끌고 도로를 건너던 보행자 일레인 허츠버그(Elaine Herzberg)를 충돌해 사망에 이르게 했다. 차량의 자동운전시스템은 충돌 약 5.6초 전 보행자를 감지했으나 분류와 이동 경로 예측이 제대로 이루어지지 않았다.
• 당시 차량에는 안전운전자가 탑승하고 있었으나 전방을 지속적으로 감시하지 않아 충돌을 방지하지 못했다.
• NTSB는 안전운전자의 전방 주시 소홀을 주요 원인으로 판단하고, 우버의 미흡한 위험평가, 운전자 감독 및 자동운전시스템 설계를 기여 요인으로 지적했다.

아마존 알렉사의 사적 대화 무단 전송

• 발생: 2018년 5월, 미국 오리건주
• 관련 시스템: 아마존 알렉사, 아마존 에코
• 포틀랜드에 거주하는 가정의 알렉사 기기가 실내 대화를 녹음한 뒤 연락처에 등록된 제3자에게 음성 파일을 전송했다. 파일을 받은 사람이 해당 가정에 연락하면서 사건이 알려졌다.
• 아마존은 주변 대화를 알렉사 호출 명령으로 잘못 인식한 뒤, 이어지는 대화를 메시지 전송 명령과 수신자 지정 및 확인 응답으로 연속해서 오인식한 것으로 설명했다.
• 실제로 음성 파일이 외부에 전송된 사건이며, 이용자가 명시적으로 녹음이나 전송을 지시한 것은 아니었다.

IBM 왓슨의 부적절한 암 치료 추천

• 발생: 2017년 내부 문제 기록, 2018년 7월 공개, 미국
• 관련 시스템: IBM 왓슨(IBM Watson for Oncology)
• IBM의 암 치료 지원 인공지능 왓슨 포 온콜로지(Watson for Oncology)가 부적절하거나 위험할 수 있는 치료 방법을 추천한 사례들이 내부 자료에서 확인되었다. 일부 추천은 실제 환자가 아닌 가상의 환자 데이터를 이용한 시험 과정에서 생성되었다.
• 2017년 IBM 내부 발표 자료에는 복수의 부정확하고 안전하지 않은 치료 추천 사례가 기록되어 있었으며, 제한된 수의 가상 환자 사례와 소수 전문가의 판단에 의존한 학습 및 검증 방식이 문제로 지적되었다.
• IBM은 일부 사례가 실제 의료 현장에 적용된 것이 아니라 시험용 사례였다고 설명했다. 공개된 자료만으로 해당 추천이 실제 환자의 치료에 사용되거나 직접적인 피해를 발생시켰다고 판단할 수는 없다.

아마존 AI 채용 시스템의 여성 지원자 차별

• 발생: 2014년 개발 시작, 2015년 편향 발견, 2018년 10월 보도, 미국
• 관련 시스템: 아마존의 머신러닝 기반 채용 평가 시스템
• 아마존이 소프트웨어 개발자 등 기술직 지원자의 이력서를 자동 평가하기 위해 개발한 시스템에서 여성 지원자에게 불리한 평가가 내려지는 문제가 발견되었다. 과거 약 10년간의 채용 데이터를 학습하면서 남성 지원자가 우세했던 기존 채용 패턴이 평가 결과에 반영된 것으로 분석되었다.
• 이력서에 여성(Women's)이라는 단어가 포함되거나 일부 여자대학 출신이라는 정보가 기재된 경우 낮은 평가를 받는 현상이 확인되었다. 아마존은 문제가 된 평가 기준을 수정했으나 다른 방식으로 차별이 발생할 가능성까지 제거하지는 못했다.
• 아마존은 2017년 초까지 관련 개발팀을 해체했다. 채용 담당자들이 시험적으로 시스템의 추천 결과를 참고한 적은 있었으나 해당 점수만으로 채용 여부를 결정하지는 않은 것으로 보도되었다.

앵무새의 알렉사 무단 쇼핑 명령

• 발생: 2018년 12월 보도, 영국
• 관련 시스템: 아마존 알렉사
• 영국에서 사육되던 아프리카회색앵무 로코(Rocco)가 주인이 집을 비운 사이 알렉사에 음성 명령을 내려 딸기, 수박, 건포도, 아이스크림 등의 식품과 여러 상품을 쇼핑 목록에 추가했다. 음악을 재생하도록 지시하는 행동도 보고되었다.
• 주인 매리언 비슈네프스키(Marion Wischnewski)는 귀가한 뒤 쇼핑 목록을 확인하고 원하지 않는 상품을 삭제해야 했다고 설명했다. 구매 제한 기능이 설정되어 있어 실제 결제는 이루어지지 않았다.
• 이 사건은 사람의 명령을 잘못 해석한 사례라기보다는 사람의 말을 흉내 내는 동물의 음성도 명령으로 처리한 사례다.

2019년

일본 헨나 호텔 로봇 직원 대량 철수

• 발생: 2019년 1월, 일본 나가사키현
• 관련 시스템: 헨나 호텔(Henn-na Hotel)의 음성 인식 및 서비스 로봇
• 로봇 직원을 활용하던 헨나 호텔에서 객실 안내, 프런트 업무 및 수하물 운반을 담당하던 로봇들이 업무를 제대로 수행하지 못하는 문제가 반복되었다. 객실의 음성 인식 로봇이 투숙객의 코골이를 명령으로 오인식해 수면을 방해하는 사례도 발생했다.
• 일부 로봇은 고객의 간단한 요청을 처리하지 못하거나 수하물을 운반할 수 있는 객실이 제한되어 있었다. 호텔 직원들이 로봇의 충전, 장애 처리 및 고객 불만 대응에 상당한 시간을 사용해야 한다는 문제도 제기되었다.
• 호텔 측은 운영하던 로봇 243대 가운데 절반 이상을 철수하고 일부 업무를 사람에게 다시 맡겼다.

니지어 파크스 얼굴 인식 오인 체포

• 발생: 2019년 1월 범행, 2월 체포, 미국 뉴저지주
• 관련 시스템: 경찰의 얼굴 인식 시스템
• 2019년 1월 26일 뉴저지주 우드브리지의 한 호텔에서 절도와 도주 사건이 발생했다. 용의자가 현장에 남긴 위조 운전면허증 사진을 얼굴 인식 시스템으로 분석하는 과정에서 무고한 남성 니지어 파크스(Nijeer Parks)가 일치 후보로 지목되었다.
• 경찰은 현장에 남겨진 지문과 DNA 등의 다른 증거를 충분히 검증하지 않은 채 파크스를 용의자로 특정했다. 파크스는 자신에게 체포영장이 발부되었다는 사실을 알고 2019년 2월 5일 직접 경찰을 찾아갔으나 체포되어 약 10일 동안 구금되었다.
• 이후 혐의가 취하되었으며, 파크스는 경찰 등을 상대로 소송을 제기했다. 미국시민자유연맹(ACLU)은 얼굴 인식 결과를 독립적인 신원 확인 증거처럼 사용한 경찰의 수사 절차를 문제로 지적했다.

테슬라 오토파일럿 사용 중 트레일러 충돌 사망 사고

• 발생: 2019년 3월 1일, 미국 플로리다주 델레이비치
• 관련 시스템: 테슬라 모델 3, 오토파일럿
• 오토파일럿을 사용하던 테슬라 모델 3가 도로를 가로지르던 대형 트레일러 측면에 충돌했다. 차량은 충돌 직전 약 시속 111km로 주행하고 있었으며 운전자의 제동이나 회피 조작 없이 트레일러 아래로 진입했다. 차량 지붕이 크게 파손되었고 운전자가 사망했다.
• NTSB는 트레일러 운전자의 우선통행권 미양보와 테슬라 운전자의 자동화 시스템 과신에 따른 부주의를 사고의 주요 원인으로 판단했다. 운전자의 주행 감시 이탈을 허용하고 사용 환경을 제한하지 못한 테슬라의 시스템 설계도 기여 요인으로 지적했다.
• 2016년 윌리스턴 사고와 유사하게 오토파일럿을 사용하던 차량이 도로를 가로지르는 트레일러 측면에 충돌한 사례다.

미국 의료 위험 예측 알고리즘의 인종 편향

• 발생: 2019년 10월 연구 발표, 미국
• 관련 시스템: 의료기관에서 사용하는 머신러닝 기반 환자 위험 평가 알고리즘
• 미국 의료기관에서 사용하던 상용 환자 위험 평가 알고리즘이 흑인 환자의 건강 위험도를 상대적으로 낮게 평가하는 문제가 연구를 통해 확인되었다. 동일한 위험 점수를 받은 흑인 환자가 백인 환자보다 실제 건강 상태가 더 나쁜 경향이 발견되었다.
• 해당 알고리즘은 환자의 질병 상태 자체보다 향후 의료비 지출을 주요 예측 대상으로 사용했다. 연구진은 의료 접근성과 지출의 차이 때문에 의료비가 실제 건강 상태를 공정하게 대변하지 못하면서 편향이 발생했다고 분석했다.
• 연구진의 분석에 따르면 편향을 교정할 경우 추가 의료 지원 대상으로 선정되는 흑인 환자의 비율이 기존 17.7%에서 46.5%로 증가할 수 있었다. 이는 2019년에 단일한 사고가 발생한 것이 아니라 이미 사용되고 있던 알고리즘의 구조적 편향이 연구를 통해 확인된 사례다.

유형별 정리

2010년대 사건은 다음과 같이 분류할 수 있다. 동일한 사건이 여러 유형에 해당할 수 있으며, 연구에서 확인된 구조적 편향과 실제 사고는 구분한다.

유형	주요 사례
이미지 인식·분류 오류	플리커 자동 태그 오류, 구글 포토 고릴라 오분류, 마이크로소프트 CaptionBot
음성 인식·명령 처리 오류	알렉사 인형의 집 주문, 버거킹 구글 홈 광고, 알렉사 웃음소리, 알렉사 사적 대화 전송, 앵무새 쇼핑 명령
기계 번역 오류	페이스북 자동번역 오류로 인한 체포
챗봇의 부적절한 응답	마이크로소프트 Tay
알고리즘 편향	구글 포토 오분류, 아마존 AI 채용 평가, 미국 의료 위험 예측 알고리즘
로봇 및 자율주행 시스템 오작동	나이트스코프 어린이 충돌, 나이트스코프 분수 추락, 테슬라 오토파일럿 사고, 우버 자율주행차 사고
전문 분야 AI 판단 오류	IBM 왓슨 암 치료 추천
AI 기반 서비스 운영 실패	일본 헨나 호텔 로봇 직원 철수
자동화된 식별 결과의 잘못된 활용	니지어 파크스 얼굴 인식 오인 체포

상세한 유형별 목록과 2020년대 이후 사건과의 비교는 인공지능 사고 및 실패 사례/유형별에서 다룬다.

같이 보기

• 인공지능
• 기계 학습
• 음성 인식
• 알고리즘 편향성
• 인공지능 윤리
• 테슬라 FSD