딥보이스
IT 위키
더 많은 작업
- deep voice; 딥보이스
- 딥러닝으로 특정인의 목소리를 학습해, 그 사람이 하지 않은 말을 그 사람 목소리로 만들어 내는 기술 또는 그렇게 만든 음성
딥보이스는 딥페이크의 음성판이다. 짧은 녹음으로 특정인의 음색과 말투를 흉내 낸 합성 음성을 만들어 전화 사칭, 허위 정보, 음성 성범죄 합성물에 악용한다는 맥락에서 국내 언론과 수사기관이 쓰는 말이다. 영어권에서는 이 말 대신 음성 복제(voice cloning), 오디오 딥페이크(audio deepfake)라고 한다. 영어 "Deep Voice"는 바이두가 2017년 발표한 신경망 음성 합성 시스템의 이름이기도 하지만,[1] 국내에서 말하는 딥보이스는 특정 모델이 아니라 목소리 복제 일반을 가리킨다.
딥보이스는 음성 합성(TTS) 기술의 한 응용이다. 만드는 방식은 크게 둘이다.
| 방식 | 입력 | 특징 |
|---|---|---|
| 화자 적응 TTS(음성 복제) | 텍스트 + 목표 화자의 녹음 | 원하는 문장을 그 사람 목소리로 읽게 한다. 예전에는 수십 분 이상의 녹음으로 모델을 미세 조정했지만, 최근 모델은 몇 초 분량의 녹음을 프롬프트로 주기만 해도 된다 |
| 음성 변환(voice conversion) | 사기범의 실제 발화 + 목표 화자 음색 | 말하는 내용과 억양은 사기범 것, 음색만 바꾼다. 실시간 통화 사칭에 쓰일 수 있다 |
마이크로소프트가 2023년 발표한 코덱 언어 모델 VALL-E는 처음 듣는 화자의 녹음 3초만으로 그 화자의 음성을 합성할 수 있다고 보고했다.[2] 이렇게 미세 조정 없이 짧은 녹음으로 목소리를 흉내 내는 제로샷 음성 복제가 가능해지면서, 사회관계망에 올린 짧은 영상만으로도 복제 재료가 된다는 점이 문제로 떠올랐다. 모델 구조와 역사는 음성 합성 문서 참고.
- 2019년 기업 사칭: 영국 에너지 회사 대표가 독일 모회사 대표의 목소리를 흉내 낸 전화를 받고 22만 유로(약 24만 3천 달러)를 보냈고, 돈은 헝가리와 멕시코의 계좌를 거쳐 빠져나갔다. 피해를 보상한 보험사 율러 에르메스(Euler Hermes)는 대표가 상사의 독일어 억양과 말투를 알아들었다고 설명했고, 이 사건은 AI 음성 사칭이 범죄에 쓰인 초기 사례로 보도되었다.[3]
- 가족 사칭: 미국 연방거래위원회(FTC)는 2023년 3월 사기범이 온라인의 짧은 음성으로 가족 목소리를 복제해 위급 상황을 꾸며 돈을 요구할 수 있다고 소비자 경보를 냈다.[4]
- 국내 납치 빙자 사기: 경찰청 국가수사본부는 2024년 11월, 한국을 여행 중인 딸이 감금되어 우는 딥페이크 영상을 외국인 부모에게 보내 돈을 요구한 사건을 알리며, 자녀 목소리를 딥보이스로 복제한 전화금융사기에 대비하고 사회관계망 게시물을 전체 공개로 올리지 말라고 당부했다. 같은 발표에서 그해 9월까지 납치 빙자 보이스피싱이 174건 발생했다고 밝혔다.[5]
- 자녀 울음소리 합성: 금융감독원은 2026년 2월 1일 학원 밀집 지역 학부모에게 자녀 이름과 학원명을 대며 AI로 만든 아이 울음소리를 들려주고 50만 원 안팎의 소액을 요구하는 수법에 대해 소비자경보 '주의'를 발령했다.[6]
- 선거: 미국 연방통신위원회(FCC)는 2024년 2월 8일 AI 생성 음성을 쓴 자동 녹음 전화를 전화소비자보호법상 '인공 음성'으로 보는 판단을 채택해 사실상 불법화했다.[7]
영상까지 합성한 사례는 딥페이크, 공격 수법 전반은 AI 기반 사이버 공격 문서 참고.
딥보이스만을 다루는 법은 없지만, 주요 법률이 음성을 명시적으로 포함한다.
| 법률 | 조항 | 내용 |
|---|---|---|
| 인공지능기본법 | 제31조 제3항 | 인공지능사업자가 실제와 구분하기 어려운 가상의 음향·이미지·영상 등을 제공하면 AI가 생성했다는 사실을 이용자가 명확히 알 수 있게 고지·표시해야 한다[8] |
| 공직선거법 | 제82조의8 | 선거일 전 90일부터 선거일까지 AI로 만든 실제와 구분하기 어려운 가상의 음향·이미지·영상(딥페이크영상등)을 선거운동에 쓰는 것을 금지(2023-12-28 신설)[9] |
| 성폭력처벌법 | 제14조의2 | 사람의 얼굴·신체 또는 음성을 대상으로 한 촬영물·영상물·음성물을 성적 수치심을 유발하는 형태로 합성·편집하는 행위 처벌[10] |
목소리로 남을 속여 돈을 받으면 형법상 사기와 전기통신금융사기 관련 법이 적용된다.
- 합성 음성 탐지: 녹음에서 합성·변조 흔적을 찾는 분류 모델이다. 화자 인증 시스템을 속이는 공격과 대응 기술을 겨루는 국제 대회 ASVspoof가 2015년부터 열려 왔고(2015, 2017, 2019, 2021년, 2024년 ASVspoof 5), 최근 회차는 딥페이크 음성 데이터도 다룬다.[11] 다만 새 합성 모델이 나오면 기존 탐지기의 성능이 떨어지는 일반화 문제가 있다.
- 출처 표시: 생성 단계에서 사람이 듣지 못하는 신호를 넣는 오디오 워터마크와 C2PA 같은 출처 메타데이터. 자세한 내용은 AI 워터마크 참고.
- 통신사 차단: 금융감독원은 통신사의 AI 보이스피싱 탐지 서비스 활용과 의심 번호 제보를 권고한다.
- 절차상 대책: 가장 확실한 방어는 목소리를 신원 증명으로 믿지 않는 것이다. 돈이나 인증 정보를 요구하는 전화는 끊고, 미리 알고 있는 번호로 본인에게 다시 건다. 기업은 송금·계좌 변경을 음성 지시만으로 처리하지 않는다. 음성으로 본인 확인을 하는 서비스(콜센터 음성 인증 등)는 다른 인증 수단과 함께 써야 한다. 바이오 인증, 다중 인증 참고.
- ↑ Sercan O. Arık 외, 〈Deep Voice: Real-time Neural Text-to-Speech〉, 2017. arXiv:1702.07825
- ↑ Chengyi Wang 외, 〈Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers〉, 2023. arXiv:2301.02111
- ↑ Catherine Stupp, Fraudsters Used AI to Mimic CEO's Voice in Unusual Cybercrime Case, The Wall Street Journal, 2019-08-30.
- ↑ Scammers use AI to enhance their family emergency schemes, 미국 FTC, 2023-03-20.
- ↑ "딸이 납치됐어요"… 딥페이크 영상 이용한 보이스피싱 범죄 '주의', 시대, 2024-11-07.
- ↑ "엄마 살려줘"…AI로 만든 아이 울음소리, 보이스피싱 수법으로, 메트로신문, 2026-02-01.
- ↑ FCC Makes AI-Generated Voices in Robocalls Illegal, FCC, 2024-02-08.
- ↑ 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조, 국가법령정보센터.
- ↑ 공직선거법 제82조의8, 국가법령정보센터.
- ↑ 성폭력범죄의 처벌 등에 관한 특례법 제14조의2, 국가법령정보센터.
- ↑ ASVspoof, 공식 사이트.