arXiv:2610.11461v1 cs.SD

음성 캡션을 넘어서: 대화형 텍스트 음성 변환을 위한 음성 보상 기반 스타일 계획

Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech

Shiao Zhu, Lianbo Liu, Sizhen Lyu, Yuzhe Wang, Sheng Li, Takahiro Shinozaki

제출 2026-10-08

한국어 초록

자연어 스타일 설명은 대규모 언어 모델(LLM)과 제어 가능한 텍스트 음성 변환(TTS) 사이에서 해석 가능한 인터페이스를 제공합니다. 그러나 설명을 의사 레이블(pseudo-label)로 사용하는 방식은 목표 음향 특성을 텍스트로 압축하며, 설명의 충실도가 특정 합성기의 효과적인 제어로 반드시 이어지는 것은 아닙니다. 본 논문에서는 동일한 발화에 대한 후보 지시문들 사이에서 음성-텍스트 정렬이 다운스트림 음향 유사도를 약하게만 예측함을 실증적으로 보여줍니다. 따라서 본 연구에서는 동결된 다운스트림 TTS 모델을 통해 텍스트 기반 스타일 플래너를 학습시키는 음성 보상 스타일 계획(SRSP)을 제안합니다. 대화 이력과 응답 텍스트가 주어지면 플래너는 후보 지시문을 생성하고, 목표 음성 토큰의 티처 포싱(teacher-forced) 가능도를 보상으로 활용하여 그룹 상대 정책 최적화(GRPO)로 최적화됩니다. ISCSLP 2026 CoT-TTS 말뭉치의 영어 하위 집합에서 SRSP는 기본 LLM 및 목표 오디오 정보를 반영한 캡셔닝 베이스라인보다 목표 음성에 대해 더 높은 음성 스타일 및 감정 유사도를 달성하고 더 낮은 멜 셉스트럴 왜곡(mel-cepstral distortion)을 보입니다. LLM 기반 표현 음성 평가에서도 문맥적 적절성과 참조 일관성 측면에서 모든 베이스라인 대비 성능 향상을 추가로 입증합니다.

원문 초록

Natural-language style descriptions provide an interpretable interface between large language models (LLMs) and controllable text-to-speech (TTS). However, using descriptions as pseudo-labels compresses target acoustics into text, and descriptive fidelity need not imply effective control of a particular synthesizer. We empirically show that speech-text alignment only weakly predicts downstream acoustic similarity among candidate instructions for the same utterance. We therefore propose Speech-Rewarded Style Planning (SRSP), which trains a text-based style planner through a frozen downstream TTS model. Given dialogue history and response text, the planner generates candidate instructions and is optimized with group-relative policy optimization (GRPO), using the teacher-forced likelihood of target speech tokens as the reward. On an English subset of the ISCSLP 2026 CoT-TTS corpus, SRSP achieves higher speech-style and emotion similarity to target speech and lower mel-cepstral distortion than the Base LLM and target-audio-informed captioning baselines. LLM-based expressive speech evaluation further shows gains over all baselines in contextual appropriateness and reference consistency.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11461v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.