arXiv:2608.02235v1 cs.CL

도메인별 텍스트 음성 변환 시스템 평가: 다중 지표 벤치마킹 연구

Domain-Specific Evaluation of Text-to-Speech Systems: A Multi-Metric Benchmarking Study

Ali Jafar, Amal Sarmad, Shifa Yousaf, Maryam Bashir

제출 2026-08-03

한국어 초록

신경망 텍스트 음성 변환(text-to-speech, TTS) 시스템의 최근 발전은 여러 언어에 걸쳐 음성의 자연스러움과 명료도를 크게 향상시켰다. 그러나 특히 저자원 및 소외 언어에 대해 다양한 음성 도메인 전반에서 인지적 품질, 화자 유사도, 음향적 충실도를 종합적으로 평가하는 포괄적인 평가 방법론은 여전히 제한적이다. 본 논문은 도메인별 분석을 통해 현대 TTS 시스템을 체계적으로 평가하기 위한 재현 가능한 다중 지표 벤치마킹 프레임워크를 제시한다. 제안된 프레임워크는 상호보완적인 주관적 및 객관적 평가 프로토콜을 통합하며, 격식체(Formal), 대화체(Conversational), 문학/스토리텔링(Literary/Storytelling), 감정 표현(Emotional)의 4개 음성 도메인에 걸친 대표적 저자원 언어에 대한 포괄적인 사례 연구를 통해 검증된다. 4개의 최첨단 TTS 시스템(Indic-Parler-TTS, MMS-TTS, Microsoft Edge TTS, Google Gemini TTS)을 대상으로 960개의 오디오 쌍에 걸쳐 MUSHRA 청취 테스트, ABX 식별 테스트, Resemblyzer를 활용한 화자 유사도 점수 산출, 멜 켑스트럼 왜곡(mel-cepstral distortion, MCD) 및 F0 RMSE 기반 음향 분석을 수행하여 평가한다. 실험 결과 음성 도메인에 따라 TTS 성능에 상당한 차이가 있음이 드러났으며, 감정 표현 음성이 일관되게 가장 큰 합성 난이도(평균 MCD 12.03 dB, 평균 F0 RMSE 889 cents)를 보인 반면, 대화체 음성은 전반적으로 가장 높은 음향적 충실도를 달성했다. 실증적 발견을 넘어, 본 연구는 저자원 언어를 위한 표준화된 벤치마킹 및 향후 TTS 평가 연구를 지원하기 위해 평가 스크립트, 결과 표, 실행 가능한 Colab 노트북을 공개하여 재현 가능한 평가 프레임워크를 제공한다.

원문 초록

Recent advances in neural text-to-speech (TTS) systems have substantially improved speech naturalness and intelligibility across many languages. However, comprehensive evaluation methodologies that jointly assess perceptual quality, speaker similarity, and acoustic fidelity across diverse speech domains remain limited, particularly for low-resource and underrepresented languages. This paper presents a reproducible, multi-metric benchmarking framework for systematic evaluation of modern TTS systems through domain-specific analysis. The proposed framework integrates complementary subjective and objective evaluation protocols and is demonstrated through a comprehensive case study on a representative low-resource language spanning four speech domains: Formal, Conversational, Literary/Storytelling, and Emotional. Four state-of-the-art TTS systems -- Indic-Parler-TTS, MMS-TTS, Microsoft Edge TTS, and Google Gemini TTS -- are evaluated using MUSHRA listening tests, ABX discrimination tests, speaker similarity scoring with Resemblyzer, and acoustic analyses based on mel-cepstral distortion (MCD) and F0 RMSE over 960 audio pairs. Results reveal substantial variation in TTS performance across speech domains, with emotional speech consistently presenting the greatest synthesis challenge (mean MCD 12.03 dB; mean F0 RMSE 889 cents), while conversational speech achieves the highest overall acoustic fidelity. Beyond the empirical findings, this work provides a reproducible evaluation framework, publicly releasing evaluation scripts, result tables, and executable Colab notebooks to support standardized benchmarking and future research on TTS evaluation for low-resource languages.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.02235v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.