arXiv:2611.19832v1 eess.AS

ProTTS: 단어 강세의 자동 발견으로 자연스럽고 강조를 조절할 수 있는 종단 간 텍스트 음성 변환

ProTTS: End-to-End Prominence-aware Natural and Controllable Text-to-Speech via Automatic Word Stress Discovery

Sai Harshitha Aluru, Chiranjeevi Yarra

제출 2026-11-17

한국어 초록

자연스러운 발화는 단어뿐 아니라 일부 단어에 두는 강조를 통해 의미를 전달한다. 그러나 대부분의 텍스트 음성 변환(TTS) 시스템은 강조를 고려하지 않는다. 기존의 강조 인식 TTS는 외부 강세 주석이 필요하고, 비지도 강세 탐지기는 합성과 분리돼 동작한다. 따라서 하나의 모델에서 강세 위치를 자동으로 찾고, 이를 자연스러운 운율로 구현하며, 사용자가 강조 위치까지 조절하는 기능을 모두 제공하는 시스템은 없었다. 이를 해결하기 위해 제안하는 통합 프레임워크 ProTTS는 TTS 모델 자체에서 강세를 탐지하고, 그 결과로 더 자연스럽고 조절할 수 있는 음성을 합성한다. FastSpeech_2의 분산 어댑터에 군집화 헤드를 넣어 모아 놓은 운율 특징으로부터 단어 강세를 직접 찾는다. 발견한 강세는 강세 단어의 음높이, 에너지, 지속 시간을 조정하는 강조용 분산 예측기의 입력이 된다. TTS 복원 손실과 군집화 손실로 강세를 구분할 수 있는 특징 공간을 함께 형성하도록 종단 간 학습한다. 어느 단계에서도 강세 레이블은 필요 없다. 추론 시에는 동일 아키텍처에 사용자 지정 강세 마스크를 입력해 강조 위치를 조정할 수 있다. 비원어민 데이터 ISLE, 원어민 학습 데이터 LibriTTS와 VCTK, 세 가지 평가 벤치마크 Tatoeba, TinyStress-15k, EmphAssess에서 ProTTS를 평가했다. 청취자는 ProTTS를 기준선보다 선호했다. 평균 의견 점수(MOS)는 3.96 대 3.12였으며 선호율은 83.5%였다. 강세 탐지에서는 ISLE의 독일어·이탈리아어권 제2언어 발화에서 F1이 각각 0.839와 0.861이었다. 비지도 기준선 0.70과 지도 기준선 0.82를 앞섰으며, Tatoeba에 제로샷으로 전이했을 때는 F1 0.933을 달성했다.

원문 초록

Natural speech conveys meaning not only through words, but also through the prominence on a few words. Yet most text-to-speech (TTS) systems remain prominence-unaware, existing prominence-aware TTS require external stress annotations, while unsupervised stress detectors operate in isolation, disconnected from synthesis. This creates a fundamental gap no existing system can automatically discover where stress should be placed, realize it as natural-sounding prosody, and offer user control over emphasis placement, all within a single model. To circumvent this, we propose ProTTS, a unified framework where stress detection emerges from the TTS model itself and, in turn, guides it to synthesize more natural and controllable speech. We incorporate a clustering head into the variance adaptor of FastSpeech_2 that discovers word stress directly from aggregated prosodic features. The discovered stress then drives emphasis variance predictors that modify pitch, energy, and duration for stressed words. The framework is trained end-to-end: TTS reconstruction and clustering losses jointly shape a stress-discriminative feature space without requiring stress labels at any stage. At inference, the same architecture also supports user-controllable emphasis by accepting a custom stress mask. We evaluate ProTTS on ISLE (non-native), LibriTTS, VCTK (native training), and three evaluation benchmarks (Tatoeba, TinyStress-15k, EmphAssess). Listeners prefer ProTTS over the baseline with a MOS of 3.96 vs. 3.12 and 83.5% preference rate. For stress detection, ProTTS achieves 0.839/0.861 F1 on ISLE (German/Italian L2), outperforming unsupervised (0.70) and supervised (0.82) baselines, and 0.933 F1 in zero-shot transfer to Tatoeba.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19832v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.