제어 가능성을 넘어: 지시 기반 음성 합성에서의 화자 다양성
Beyond Controllability: Speaker Diversity in Instruction-Guided Text-to-Speech
한국어 초록
지시 기반 음성 합성(ITTS)은 사용자가 자연어로 음성 특성을 지정할 수 있게 한다. 대화형 AI 캐릭터 음성부터 하위 음성 모델용 합성 학습 데이터에 이르는 응용은 동일한 넓은 범주가 반복적으로 요청될 때 시스템이 다수의 서로 다른 음성을 생성하는 데 의존한다. 기존 연구 중 ITTS 출력이 실제 음성과 비교하거나 속성 값 간에 비교했을 때 실제로 다양한지 감사한 사례는 없다. 우리는 표현 능력을 독립적으로 검증한 화자 임베딩을 사용하여 7개의 오픈소스 ITTS 시스템을 평가한다. 모든 시스템은 실제 음성보다 현저히 좁은 화자 분포를 생성한다. 더욱이 대부분의 시스템에서 여성 프롬프트는 남성 프롬프트보다 덜 다양한 음성 풀을 생성한다. 반면 억양과 감정 프롬프트는 대부분의 시스템에서 화자 다양성을 거의 바꾸지 않지만, 북미 영어와 중립적 발화로 향하는 강한 제어 가능성 편향을 드러낸다. 이러한 결과는 다양성과 제어 가능성이 서로 보완적인 약점을 포착하며, 둘 중 어느 하나만으로는 ITTS를 평가하기에 충분하지 않음을 보여 준다. 코드와 데이터는 https://github.com/dlion168/ITTS-Speaker-Diversity 에서 이용할 수 있다.
원문 초록
Instruction-guided text-to-speech (ITTS) lets users specify voice properties in natural language. Applications from conversational AI character voices to synthetic training data for downstream speech models depend on the system producing many distinct voices when the same broad category is requested repeatedly. No prior work audits whether ITTS outputs are in fact diverse, either compared to real speech or across attribute values. We evaluate seven open-source ITTS systems using speaker embeddings whose representational capacity we independently validate. Every system produces speaker distributions markedly narrower than real speech. Furthermore, female prompts produce less diverse voice pools than male prompts across most systems. In contrast, accent and emotion prompts barely alter speaker diversity in most systems, but reveal a strong controllability bias toward North American English and neutral speech. These results show that diversity and controllability capture complementary weaknesses, neither of which alone is sufficient to evaluate ITTS. Our code and data are available at https://github.com/dlion168/ITTS-Speaker-Diversity.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19030v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.