Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability
원문 초록
Emotional text-to-speech synthesis (ETTS) has seen much progress in recent years. However, the generated voice is often not perceptually identifiable by its intended emotion category. To address this problem, we propose a new interactive training paradigm for ETTS, denoted as i-ETTS, which seeks to directly improve the emotion discriminability by interacting with a speech emotion recognition (SER) model. Moreover, we formulate an iterative training strategy with reinforcement learning to ensure the quality of i-ETTS optimization. Experimental results demonstrate that the proposed i-ETTS outperforms the state-of-the-art baselines by rendering speech with more accurate emotion style. To our best knowledge, this is the first study of reinforcement learning in emotional text-to-speech synthesis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EmoGavel: 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반 그라운딩 인식 강화학습
EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning
멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.
인간 청취자로부터의 강화학습을 적용한 대화형 음성 미학 모델
Conversational Voice Aesthetic Model with Reinforcement Learning from Human Listeners
우리는 자연스러운 대화 맥락에서 실제 또는 합성된 음성 응답의 음성 미학(voice aesthetics)을 설명하는 음성 대규모 언어 모델(speech LLM)인 Conversational Voice Aesthetic Model(CVAM)을 소개한다. 맥락(context)과 응답 음성이 주어지면, CVAM은 해당 음성을 특징짓는 주요 순간들을 설명하고 성별, 음높이(pitch), 속도(pacing), 감정, 전달 방식(delivery)에 걸친 9개의 범주형 속성을 예측한다. 핵심 과제는 감정 및 전달 방식과 같은 지각적 영역에 있는데, 이러한 영역은 본질적으로 주관적이며 명확한 정답(ground truth)이 존재하지 않는다. 이를 위해 우리는 CANDOR 코퍼스에서 파생된 3,000개의 실제 및 합성 응답 각각에 대해 약 10개의 인간 어노테이션을 수집한다. CVAM은 합성된 미학적 설명과 레이블에 대해 지도 파인튜닝(supervised finetuning)된 후, 인간 판단을 바탕으로 Group Relative Policy Optimization을 통해 최적화된다. 실험 결과, CVAM은 Gemini 3.1 Pro 및 오픈소스 음성 LLM보다 인간 청취자와 더 높은 일치도를 보였으며, 단일 인간과 나머지 인간들 간의 일치도(single-human-vs.-rest agreement)보다도 우수한 성능을 나타냈다. 종합적으로, 우리는 음성 미학을 인간의 지각에 그라운딩하는 것의 중요성을 입증하고, 인간 정렬(human alignment)을 위한 체계적인 프레임워크를 제안한다.
대화 맥락을 활용한 음성 감정 표현 보강
Enriching Speech Emotion Representations with Conversational Context
감정을 감지하는 것은 인간과 정확하고 적응적으로 상호작용할 수 있는 시스템을 구축하는 데 필수적이다. 음성 감정 인식(Speech Emotion Recognition, SER)은 지능형 음성 인터페이스를 개발하기 위한 중요한 연구 주제가 되었다. 그러나 대부분의 연구는 발화 수준에서 감정을 예측하며, 감정의 흐름과 화자 간 상호작용을 담고 있는 대화 맥락을 무시한다. 본 논문에서는 가변 길이의 대화 맥락 윈도우를 통합하여 구어 상호작용에서 감정의 변화를 더 잘 포착하는 모듈인 ACERT(Averaged Contextual Emotion Representation through Time)를 제안한다. 이 방법의 견고성을 평가하기 위해 다양한 감정 표현 양식과 맥락을 아우르는 데이터셋에서 실험을 수행하였다. ACERT는 IEMOCAP에서 현재 최신 기술(state-of-the-art, SOTA) 방법들을 능가하고, SAFE에서 최초의 맥락 인식 벤치마크를 수립하며, MELD에서는 가중치 미적용·클래스 균형 지표에서 강한 결과를 얻었다. 소거 연구(ablation study)는 ACERT의 이득이 화자 정체성이나 음향 조건보다 감정적·대화적 연속성에서 비롯됨을 보여준다.
Unlocking the Emotional States of High-Risk Suicide Callers through Speech Analysis
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
CNN-n-GRU: end-to-end speech emotion recognition from raw waveform signal using CNNs and gated recurrent unit networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.