딥페이크
더 많은 작업
- deepfake; 딥페이크
- 딥러닝으로 실존 인물의 얼굴, 몸, 목소리를 합성하거나 조작해 실제처럼 보이고 들리게 만든 영상·이미지·음성, 또는 그 기술
딥페이크는 딥 러닝(deep learning)과 가짜(fake)를 합친 말이다. 처음에는 영상 속 얼굴을 다른 사람 얼굴로 바꾸는 특정 기법을 가리켰지만, 지금은 생성형 인공지능으로 실존 인물이 하지 않은 말과 행동을 만들어 낸 합성물 전반을 가리킨다. 목소리만 복제한 경우는 국내에서 따로 딥보이스라고도 부른다.
예전에도 사진 편집 프로그램으로 얼굴을 합성할 수는 있었지만, 딥러닝은 전문 기술 없이도 움직이는 영상 전체를 자연스럽게 바꿀 수 있게 했다. 이 때문에 영화 제작, 고인 재현 같은 쓰임과 함께 사기, 디지털 성범죄, 선거 허위 정보 같은 악용이 빠르게 늘었고, 각국은 처벌 규정과 AI 생성물 표시 의무를 도입하고 있다.
- 2017년 말: 미국 커뮤니티 사이트 레딧(Reddit)에서 "deepfakes"라는 닉네임을 쓰는 사용자가 유명인 얼굴을 음란물에 합성한 영상을 올리면서 말이 생겼다. 2018년 1월 바이스(Vice)는 이 기법이 공개된 앱으로 퍼져 누구나 합성물을 만들고 있다고 보도했다.[1]
- 2018년 4월: 미국 버즈피드(BuzzFeed)와 영화감독 조던 필이 버락 오바마 전 대통령이 도널드 트럼프를 욕하는 듯한 합성 영상을 만들어, 영상의 진위를 의심하라는 경고 메시지로 공개했다. 딥페이크라는 말을 대중에게 알린 영상 가운데 하나다.[2]
- 2019~2020년: 학계와 기업이 대규모 탐지 데이터셋을 공개했다(FaceForensics++, 딥페이크 탐지 챌린지).
- 2022년 이후: 확산 모델 기반 이미지 생성이 보급되면서 얼굴 사진 한 장으로 이미지를 합성하는 일이 쉬워졌고, 영상 생성 모델과 실시간 얼굴·음성 변환이 화상통화 사칭에 쓰이기 시작했다.
| 방식 | 원리 | 대표 예 |
|---|---|---|
| 얼굴 교체(face swap) | 원본 영상 인물의 얼굴을 다른 사람 얼굴로 바꾼다. 표정과 머리 움직임은 원본을 따른다 | 초기 deepfakes 기법, FaceSwap, DeepFaceLab |
| 얼굴 재연(face reenactment) | 대상 인물의 얼굴은 그대로 두고 표정·입 모양을 다른 사람의 움직임대로 조종한다 | Face2Face, 립싱크 합성 |
| 전체 합성 | 존재하지 않는 인물이나 실존 인물의 이미지를 처음부터 생성한다 | GAN 계열(StyleGAN), 확산 모델, 영상 생성 모델 |
| 부분 생성(인페인팅) | 사진의 일부 영역만 지정해 새로 그린다. 옷 입은 사진을 나체로 바꾸는 성범죄 합성에 악용된다 | 확산 모델의 인페인팅 기능 |
| 음성 복제 | 짧은 녹음으로 특정인의 음색을 학습해 원하는 말을 합성하거나 실시간으로 목소리를 바꾼다 | 딥보이스, 음성 합성 |
초기 얼굴 교체는 오토인코더 구조를 썼다. 인물 A와 B의 얼굴 사진을 각각 수백~수천 장 모은 뒤, 인코더 하나를 공유하고 디코더를 인물별로 따로 두어 학습한다. 공유 인코더는 두 사람에 공통인 표정·자세·조명 정보를 압축하고, 각 디코더는 그 정보로 자기 인물의 얼굴을 복원하는 법을 배운다. 합성할 때는 B의 얼굴을 인코더에 넣고 A의 디코더로 복원하면, B의 표정을 지은 A의 얼굴이 나온다. 이 얼굴을 원본 프레임에 붙이고 피부색과 경계를 맞추는 후처리를 거친다. 그래서 학습 사진에 없던 각도나 표정, 얼굴을 가리는 물체가 있으면 결과가 어색해진다.
GAN은 생성기와 판별기를 경쟁시켜 실제 같은 얼굴 이미지를 만들고, 2018년 엔비디아의 StyleGAN은 실존하지 않는 사람의 고해상도 얼굴을 만들어 가짜 프로필 사진에 쓰였다.[3] 이후 확산 모델과 영상 생성 모델(소라 등)이 품질을 끌어올리면서, 대상 인물 사진이 적어도 그럴듯한 결과를 낼 수 있게 되었다.
- 영화·방송: 배우의 젊은 시절 재현, 대역 배우 얼굴 교체, 다국어 더빙의 입 모양 맞추기.
- 고인 재현: 추모 영상, 다큐멘터리, 광고에서 고인의 얼굴과 목소리를 복원한다. 유족 동의와 고인의 인격권이 쟁점이 된다.
- 신원 보호: 다큐멘터리에서 증언자 얼굴을 가상의 얼굴로 바꾸면, 모자이크와 달리 표정은 전하면서 신원은 감출 수 있다.
- 교육·풍자: 딥페이크 위험을 알리는 공익 영상, 정치 풍자. 풍자라도 진짜로 오인될 수 있으면 허위 정보가 된다.
임원이나 가족을 사칭해 돈을 보내게 하는 사기에 쓰인다. 2024년 1월 영국 설계 회사 아럽(Arup)의 홍콩 직원은 최고재무책임자와 여러 동료가 참석한 화상회의에 참여했는데 참석자 모두가 딥페이크였고, 그 지시에 따라 15차례에 걸쳐 2억 홍콩달러(약 2,560만 달러)를 송금했다. 이 직원은 처음에 영국 본사가 보낸 비밀 거래 요청 메일을 피싱으로 의심했지만, 얼굴과 목소리가 아는 동료와 같아 의심을 접었다.[4] 비대면 계좌 개설 같은 신원 확인(KYC)을 딥페이크로 우회하는 도구도 지하 시장에서 거래된다.[5] 음성만 쓴 사기는 딥보이스, 공격 수법 전반은 AI 기반 사이버 공격 참고. MITRE ATLAS는 이런 행위를 "Generate Deepfakes"(AML.T0088), "Deepfake-Assisted Phishing"(AML.T0052.001) 기법으로 분류한다.[6]
딥페이크의 시작이 음란물 합성이었고, 지금도 가장 큰 피해 유형이다. 국내에서는 지인 사진을 합성한 성착취물이 텔레그램 대화방 등에서 유포된 사건이 2024년 사회 문제가 되면서 처벌 규정이 강화되었다(아래 법 대응 참고). 얼굴 사진 몇 장만 있으면 누구든 피해자가 될 수 있고, 한번 퍼진 합성물은 완전히 지우기 어렵다.
후보자가 하지 않은 발언을 담은 영상·음성은 선거 직전 퍼지면 반박할 시간이 없다. 미국 연방통신위원회(FCC)는 2024년 2월 AI 생성 음성 자동 녹음 전화를 불법으로 판단했고,[7] 한국은 공직선거법에 딥페이크 선거운동 금지 조항을 두었다. 진짜 영상을 딥페이크라고 주장하며 책임을 피하는 일(이른바 거짓말쟁이의 배당)도 함께 문제로 지적된다.
| 법률 | 조항 | 내용 | 연혁 |
|---|---|---|---|
| 성폭력범죄의 처벌 등에 관한 특례법 | 제14조의2(허위영상물 등의 반포등) | ① 사람의 얼굴·신체·음성을 대상으로 한 촬영물·영상물·음성물을 대상자 의사에 반해 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집·합성·가공하면 7년 이하 징역 또는 5천만 원 이하 벌금 ② 그 편집물·복제물을 반포하면 같은 형 ③ 영리 목적 정보통신망 반포는 3년 이상 유기징역 ④ 편집물·복제물을 소지·구입·저장·시청하면 3년 이하 징역 또는 3천만 원 이하 벌금 | 2020-03-24 신설. 2024-10-16 개정으로 제1~3항이 바뀌어 반포 목적 없이 만든 경우도 처벌하게 되었고, 제4항(소지·구입·저장·시청 처벌)이 신설되었다[8] |
| 공직선거법 | 제82조의8(딥페이크영상등을 이용한 선거운동) | 선거일 전 90일부터 선거일까지 AI 기술 등으로 만든 실제와 구분하기 어려운 가상의 음향·이미지·영상(딥페이크영상등)을 선거운동 목적으로 제작·편집·유포·상영·게시 금지. 그 밖의 기간에는 가상의 정보라는 사실을 중앙선거관리위원회 규칙에 따라 표시해야 함 | 2023-12-28 신설[9] |
| 인공지능기본법 | 제31조(인공지능 투명성 확보 의무) | ② 생성형 AI 결과물에 AI가 생성했다는 사실 표시 ③ 실제와 구분하기 어려운 가상의 음향·이미지·영상 등을 제공하면 이용자가 명확히 인식할 수 있게 고지·표시. 예술·창작 표현물은 감상을 해치지 않는 방식으로 가능 ④ 방법과 예외는 대통령령으로 | 2025-01-21 제정, 2026-01-22 시행[10] |
성폭력처벌법 제14조의2는 딥러닝 여부를 따지지 않으므로 사진 편집 프로그램으로 만든 합성물에도 적용된다. 성적 합성물이 아닌 딥페이크로 남의 명예를 훼손하면 형법과 정보통신망법의 명예훼손 규정이, 돈을 가로채면 사기죄가 적용된다. 인공지능기본법의 표시 의무는 AI 서비스를 제공하는 사업자에게 지우는 것으로, 합성물을 만들어 퍼뜨린 개인을 처벌하는 조항은 아니다. 해외 규제는 EU 인공지능법 문서 참고.
| 접근 | 내용 | 한계 |
|---|---|---|
| 합성 흔적 분류 | 얼굴 경계의 이음매, 조명·그림자 불일치, 주파수 영역의 생성 모델 특유 무늬를 합성곱 신경망 등으로 학습해 진위를 가린다 | 학습에 쓰지 않은 새 생성 방식에 약하고, 압축·재인코딩에 흔적이 지워진다 |
| 생체·물리 신호 | 눈 깜빡임, 입 모양과 발음의 일치, 피부색 미세 변화(맥박) 등 사람에게 있어야 할 신호를 확인한다 | 생성 모델이 개선되면 해당 신호를 흉내 낸다 |
| 실시간 본인 확인(라이브니스) | 비대면 인증에서 무작위 동작을 요구하거나 주입된 영상 스트림을 탐지한다 | 실시간 얼굴 변환과 가상 카메라 주입에 대한 대응 경쟁 |
| 출처 증명 | 촬영·생성 시점에 C2PA 콘텐츠 자격 증명이나 워터마크를 넣어 출처를 검증한다 | 진짜 콘텐츠에 서명이 있어야 효과가 있고, 메타데이터는 지워질 수 있다 |
탐지 연구의 기준 데이터셋은 다음과 같다.
- FaceForensics++(2019): 얼굴 조작 4종(DeepFakes, Face2Face, FaceSwap, NeuralTextures)으로 만든 180만 장 이상의 조작 이미지와 숨겨진 시험 집합을 갖춘 자동 평가 벤치마크다. 저자들은 도메인 지식을 더한 탐지기가 강한 압축에서도 사람보다 정확했다고 보고했다.[11]
- DFDC(2020): 메타(당시 페이스북) 등이 연 딥페이크 탐지 챌린지(DFDC) 데이터셋으로, 동의를 받은 유료 출연자 3,426명으로 만든 10만 개 이상의 영상이다. 저자들은 딥페이크 탐지가 "극도로 어렵고 여전히 풀리지 않은 문제"라고 결론지었다.[12]
탐지기만으로는 생성 기술을 따라잡기 어려워, 진짜 콘텐츠에 출처를 남기는 C2PA 콘텐츠 자격 증명과 생성물에 표식을 넣는 워터마크가 함께 쓰인다. 자세한 내용은 AI 워터마크 문서 참고. 개인과 조직 차원에서는 영상·음성만으로 송금이나 권한 변경을 승인하지 않고 별도 채널로 다시 확인하는 절차가 가장 확실한 대책이다.
- ↑ Samantha Cole, We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now, Vice, 2018-01-24.
- ↑ You Won't Believe What Obama Says In This Video!, BuzzFeed News, 2018-04-17.
- ↑ Tero Karras 외, 〈A Style-Based Generator Architecture for Generative Adversarial Networks〉, 2018. arXiv:1812.04948
- ↑ British engineering giant Arup revealed as $25 million deepfake scam victim, CNN, 2024-05-17.
- ↑ GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools, Google Threat Intelligence Group, 2025-11-06.
- ↑ mitre-atlas/atlas-data, ATLAS 2026.09 데이터.
- ↑ FCC Makes AI-Generated Voices in Robocalls Illegal, FCC, 2024-02-08.
- ↑ 성폭력범죄의 처벌 등에 관한 특례법 제14조의2, 국가법령정보센터(2026-10-16 확인).
- ↑ 공직선거법 제82조의8, 국가법령정보센터(2026-10-16 확인).
- ↑ 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조, 국가법령정보센터(2026-10-16 확인).
- ↑ Andreas Rössler 외, 〈FaceForensics++: Learning to Detect Manipulated Facial Images〉, 2019. arXiv:1901.08971
- ↑ Brian Dolhansky 외, 〈The DeepFake Detection Challenge (DFDC) Dataset〉, 2020. arXiv:2006.07397