음성 캡션을 넘어서: 대화형 텍스트 음성 변환을 위한 음성 보상 기반 스타일 계획
Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech
한국어 초록
자연어 스타일 설명은 대규모 언어 모델(LLM)과 제어 가능한 텍스트 음성 변환(TTS) 사이에서 해석 가능한 인터페이스를 제공합니다. 그러나 설명을 의사 레이블(pseudo-label)로 사용하는 방식은 목표 음향 특성을 텍스트로 압축하며, 설명의 충실도가 특정 합성기의 효과적인 제어로 반드시 이어지는 것은 아닙니다. 본 논문에서는 동일한 발화에 대한 후보 지시문들 사이에서 음성-텍스트 정렬이 다운스트림 음향 유사도를 약하게만 예측함을 실증적으로 보여줍니다. 따라서 본 연구에서는 동결된 다운스트림 TTS 모델을 통해 텍스트 기반 스타일 플래너를 학습시키는 음성 보상 스타일 계획(SRSP)을 제안합니다. 대화 이력과 응답 텍스트가 주어지면 플래너는 후보 지시문을 생성하고, 목표 음성 토큰의 티처 포싱(teacher-forced) 가능도를 보상으로 활용하여 그룹 상대 정책 최적화(GRPO)로 최적화됩니다. ISCSLP 2026 CoT-TTS 말뭉치의 영어 하위 집합에서 SRSP는 기본 LLM 및 목표 오디오 정보를 반영한 캡셔닝 베이스라인보다 목표 음성에 대해 더 높은 음성 스타일 및 감정 유사도를 달성하고 더 낮은 멜 셉스트럴 왜곡(mel-cepstral distortion)을 보입니다. LLM 기반 표현 음성 평가에서도 문맥적 적절성과 참조 일관성 측면에서 모든 베이스라인 대비 성능 향상을 추가로 입증합니다.
원문 초록
Natural-language style descriptions provide an interpretable interface between large language models (LLMs) and controllable text-to-speech (TTS). However, using descriptions as pseudo-labels compresses target acoustics into text, and descriptive fidelity need not imply effective control of a particular synthesizer. We empirically show that speech-text alignment only weakly predicts downstream acoustic similarity among candidate instructions for the same utterance. We therefore propose Speech-Rewarded Style Planning (SRSP), which trains a text-based style planner through a frozen downstream TTS model. Given dialogue history and response text, the planner generates candidate instructions and is optimized with group-relative policy optimization (GRPO), using the teacher-forced likelihood of target speech tokens as the reward. On an English subset of the ISCSLP 2026 CoT-TTS corpus, SRSP achieves higher speech-style and emotion similarity to target speech and lower mel-cepstral distortion than the Base LLM and target-audio-informed captioning baselines. LLM-based expressive speech evaluation further shows gains over all baselines in contextual appropriateness and reference consistency.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.