음성 합성
더 많은 작업
- Speech Synthesis, Text-to-Speech, TTS; 음성 합성
- 텍스트나 기호를 입력받아 사람의 말소리를 인공적으로 만들어 내는 기술
음성 합성(Speech Synthesis)은 컴퓨터로 사람의 말소리를 만들어 내는 기술이다. 입력이 텍스트인 경우가 대부분이라 텍스트 음성 변환(Text-to-Speech, TTS)이라고 부르며, 이 말은 그런 기능을 하는 프로그램이나 엔진을 가리키기도 한다. 음성 인식과 반대 방향의 기술로, 둘을 합쳐 음성 비서·대화형 인공지능의 입출력을 이룬다.
시각 장애인을 위한 화면 낭독(스크린 리더)에서 출발해 내비게이션 안내, 교통 안내 방송, 콜센터 자동 응답, 오디오북, 영상 더빙, 게임 캐릭터 목소리, 음성 비서 응답까지 쓰임이 넓다. 오래된 TTS는 억양이 단조롭고 기계적인 소리로 알려졌지만, 2016년 이후 신경망 TTS가 나오면서 사람 목소리와 구별하기 어려운 수준에 이르렀다. 동시에 짧은 녹음만으로 특정인의 목소리를 흉내 내는 음성 복제가 가능해져 사기와 딥페이크 악용이 사회 문제가 되었다.
TTS 시스템은 크게 텍스트를 언어 정보로 바꾸는 앞단(프런트엔드)과, 언어 정보를 소리로 바꾸는 뒷단(백엔드)으로 나뉜다. 신경망 TTS는 뒷단을 다시 음향 모델과 보코더로 나누는 2단계 구조가 흔했다.
| 단계 | 하는 일 | 예 |
|---|---|---|
| 텍스트 정규화 | 숫자, 기호, 약어, 날짜를 읽을 수 있는 말로 바꿈 | "2026.10.15" → "이천이십육 년 시월 십오 일", "3kg" → "삼 킬로그램" |
| 형태소·구문 분석 | 품사와 문장 구조를 파악해 끊어 읽을 곳과 강세를 정함 | 동형이의어 읽기 구분(영어 "read"의 현재·과거형) |
| 발음 변환(G2P) | 철자를 실제 발음 기호열로 바꿈 | "같이" → [가치], "신라" → [실라] |
| 운율 예측 | 음의 높낮이(F0), 길이, 세기, 쉼을 정함 | 의문문 끝 올림, 쉼표 뒤 휴지 |
| 음향 모델 | 발음·운율 정보에서 멜 스펙트로그램 같은 음향 특징을 생성 | Tacotron 2, FastSpeech |
| 보코더 | 음향 특징을 실제 파형으로 바꿈 | WaveNet, HiFi-GAN |
한국어는 연음, 비음화, 경음화 같은 음운 변동이 많아 발음 변환(G2P) 단계의 비중이 크다. '읽고[일꼬]', '맑다[막따]'처럼 표기와 발음이 다른 경우를 규칙과 예외 사전, 또는 신경망으로 처리한다.
| 방식 | 원리 | 장점 | 단점 |
|---|---|---|---|
| 기계식·조음 합성 | 성대와 성도의 물리 구조를 모형이나 수학 모델로 흉내 냄 | 발성 원리를 직접 반영 | 자연스러운 소리를 만들기 매우 어려움 |
| 포먼트 합성 | 성도의 공명 주파수(포먼트)를 필터로 만들어 규칙에 따라 소리를 합성 | 데이터가 거의 필요 없고 작고 빠름, 매우 빠른 속도로 읽혀도 알아듣기 쉬움 | 로봇 같은 기계음 |
| 연결 합성(이음 합성) | 녹음한 실제 음성을 잘게 잘라 데이터베이스로 만들고 이어 붙임. 음소 경계 조각(다이폰)을 쓰는 방식과, 큰 녹음 말뭉치에서 가장 잘 맞는 조각을 골라 잇는 단위 선택(unit selection) 방식이 있음 | 녹음된 범위 안에서는 매우 자연스러움 | 이음매에서 끊김, 데이터에 없는 억양·감정 표현이 어려움, 목소리 하나에 수십 시간 녹음 필요 |
| 통계적 파라메트릭 합성 | 음성을 스펙트럼·F0 같은 매개변수로 바꿔 은닉 마르코프 모델 등 통계 모델로 생성하고 보코더로 복원 | 데이터가 적어도 되고 목소리·감정 변환이 쉬움 | 소리가 뭉개지고 웅웅거림(과도한 평활화) |
| 신경망 TTS | 음향 모델과 보코더를 신경망으로 학습. 최근에는 텍스트에서 파형까지 한 번에 생성 | 사람에 가까운 자연스러움 | 학습·추론 계산량이 많고, 목소리 복제 악용 우려 |
단위 선택 방식은 1996년 헌트와 블랙의 논문으로 정리되어 2000년대 상용 TTS의 주류가 되었고[1], 통계적 파라메트릭 합성은 HMM 기반 합성 도구 HTS를 중심으로 연구되었다[2].
Tacotron 계열은 출력을 한 프레임씩 만들어 느리고, 어텐션 정렬이 어긋나면 단어를 건너뛰거나 반복하는 문제가 있었다. 2019년 마이크로소프트 연구진의 FastSpeech는 음소마다 길이를 예측해 모든 프레임을 병렬로 생성하는 방식으로, 자기회귀 트랜스포머 TTS보다 멜 스펙트로그램 생성은 270배, 종단간 합성은 38배 빨라졌다고 보고했다[6]. 보코더 쪽에서도 WaveGlow, MelGAN, HiFi-GAN처럼 흐름 기반 모델이나 생성적 적대 신경망으로 실시간보다 빠르게 파형을 만드는 모델이 나왔다.
- 평균 의견 점수(Mean Opinion Score, MOS): 청취자들이 합성음을 1점(매우 나쁨)~5점(매우 좋음)으로 매긴 평균. ITU-T P.800 권고의 절대 범주 평가 방식에서 나왔다[9]. 청취자와 실험 조건에 따라 점수가 달라져 서로 다른 논문의 MOS를 그대로 비교하기 어렵다.
- 비교 평가: 두 시스템의 합성음을 나란히 들려주고 어느 쪽이 나은지 고르게 하는 AB 선호도, 비교 MOS(CMOS).
- 명료도: 합성음을 음성 인식기에 넣어 나온 오류율(WER, CER)로 발음이 정확한지 잰다.
- 화자 유사도: 음성 복제에서는 화자 인식 모델의 임베딩 유사도로 목표 화자와 얼마나 닮았는지 잰다.
- SSML(Speech Synthesis Markup Language): 읽기 속도, 높낮이, 쉼, 강조, 발음을 XML 태그로 지정하는 W3C 표준. 1.1판이 2010년 9월 W3C 권고가 되었다[10]. 클라우드 TTS 서비스 대부분이 SSML 입력을 지원한다.
- 운영체제 음성 API: 윈도우의 SAPI(Speech API)처럼 운영체제가 TTS 엔진과 응용 프로그램을 잇는 인터페이스를 제공하고, 사용자가 엔진(목소리)을 골라 설치할 수 있다. 웹 브라우저는 Web Speech API로 TTS를 제공한다.
- 클라우드 서비스: 아마존 폴리, 구글 클라우드 TTS, 마이크로소프트 애저 음성 서비스 등이 API로 TTS를 제공한다. 예를 들어 아마존 폴리의 한국어 목소리로는 서연(Seoyeon)과 지혜(Jihye)가 있다[11].
- 접근성: 시각 장애인과 저시력자를 위한 스크린 리더, 웹사이트 읽어 주기, 눈의 피로를 줄이는 듣기 기능. 자세한 내용은 웹 접근성 참고
- 보조 대체 의사소통(AAC): 말을 할 수 없는 사람이 글을 입력해 합성음으로 말한다. 물리학자 스티븐 호킹이 쓴 합성 음성은 그의 상징처럼 알려졌다
- 안내 방송: 내비게이션, 철도·버스 안내 방송, 재난 방송, 전화 자동 응답(ARS)
- 미디어: 뉴스·기사 읽어 주기, 오디오북, 영상 더빙과 내레이션, 인터넷 방송의 후원 메시지 읽기
- 게임·캐릭터: 캐릭터 목소리, 가상 인플루언서
- 대화형 인공지능: 음성 인식 → 자연어 처리 → 응답 생성 → 음성 합성으로 이어지는 음성 비서
노래를 합성하는 보컬 합성(예: 야마하의 보컬로이드)은 음 높이와 박자를 악보로 지정해야 한다는 점에서 일반 TTS와 구분해 보는 경우가 많다.
짧은 녹음으로 특정인의 목소리를 흉내 내는 음성 복제(voice cloning)는 고인의 목소리 복원, 성대를 잃은 환자의 목소리 보존, 다국어 더빙처럼 쓸모가 있지만, 사기와 허위 정보에 악용되기 쉽다.
- 가족 사칭 사기: 미국 연방거래위원회(FTC)는 2023년 3월 사기범이 온라인에 올라온 짧은 음성으로 가족의 목소리를 복제해 위급 상황을 꾸며 돈을 요구할 수 있다고 소비자 경보를 냈다[12]. 국내의 전화 금융 사기와 결합할 위험도 있다. 자세한 내용은 피싱 문서 참고.
- 자동 녹음 전화 규제: 미국 연방통신위원회(FCC)는 2024년 2월 8일 인공지능이 생성한 목소리로 건 자동 녹음 전화(로보콜)를 전화 소비자 보호법(TCPA)상 '인공 음성'으로 보는 선언적 판단을 만장일치로 채택해, 이런 전화를 불법으로 규정했다[13].
- 대응 기술: 합성 음성 탐지 모델, 합성음에 사람이 들을 수 없는 표식을 넣는 오디오 워터마크, 음성 사용 동의 절차 등이 연구·도입되고 있다. 자세한 내용은 AI 워터마크, 딥페이크 문서 참고.
- 성우와 저작권: 성우의 목소리를 학습한 TTS의 권리 관계, 음성 데이터 제공 계약 방식이 쟁점이 되고 있다.
| 연도 | 사건 |
|---|---|
| 18세기 후반 | 볼프강 폰 켐펠렌이 풀무와 관으로 말소리를 내는 기계식 말하는 기계를 만들어 1791년 책으로 발표 |
| 1939 | 벨 연구소 호머 더들리의 전자식 음성 합성기 보더(VODER)가 뉴욕 세계 박람회에서 시연됨 |
| 1960~1970년대 | 컴퓨터 기반 포먼트 합성과 텍스트 음성 변환 규칙 연구 |
| 1980년대 | 포먼트 합성 기반 상용 TTS(DECtalk 등) 보급 |
| 1990년대 | 다이폰 연결 합성, 단위 선택 합성 등장 |
| 2000년대 | 단위 선택 합성이 상용 주류, HMM 기반 통계적 파라메트릭 합성 연구 |
| 2016 | 딥마인드 WaveNet 발표 |
| 2017 | 구글 Tacotron, Tacotron 2 발표 |
| 2019 | FastSpeech 발표 |
| 2021 | VITS 발표 |
| 2023 | VALL-E 등 코덱 언어 모델 기반 제로샷 TTS 등장 |
- ↑ Andrew J. Hunt, Alan W. Black, 〈Unit selection in a concatenative speech synthesis system using a large speech database〉, ICASSP 1996. doi:10.1109/ICASSP.1996.541110
- ↑ Heiga Zen, Keiichi Tokuda, Alan W. Black, 〈Statistical parametric speech synthesis〉, Speech Communication 51(11), 2009.
- ↑ Aäron van den Oord 외, 〈WaveNet: A Generative Model for Raw Audio〉, 2016. arXiv:1609.03499
- ↑ Yuxuan Wang 외, 〈Tacotron: Towards End-to-End Speech Synthesis〉, 2017. arXiv:1703.10135
- ↑ Jonathan Shen 외, 〈Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions〉, ICASSP 2018. arXiv:1712.05884
- ↑ Yi Ren 외, 〈FastSpeech: Fast, Robust and Controllable Text to Speech〉, NeurIPS 2019. arXiv:1905.09263
- ↑ Jaehyeon Kim, Jungil Kong, Juhee Son, 〈Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech〉, ICML 2021. arXiv:2106.06103
- ↑ Chengyi Wang 외, 〈Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers〉, 2023. arXiv:2301.02111
- ↑ ITU-T Recommendation P.800, Methods for subjective determination of transmission quality, 1996
- ↑ W3C, Speech Synthesis Markup Language (SSML) Version 1.1, 2010
- ↑ Amazon Polly 개발자 안내서, Available voices
- ↑ 미국 FTC 소비자 경보, Scammers use AI to enhance their family emergency schemes, 2023-03-20
- ↑ FCC 보도자료, FCC Makes AI-Generated Voices in Robocalls Illegal, 2024-02-08
- Paul Taylor, 《Text-to-Speech Synthesis》, Cambridge University Press, 2009.
- Xu Tan 외, 〈A Survey on Neural Speech Synthesis〉, 2021. arXiv:2106.15561