PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27599v2eess.AS

EmphTTS: 강화학습을 활용한 강조 제어 텍스트 음성 변환

EmphTTS: an emphasis-control TTS with reinforcement learning

텍스트 입력에 명시적인 강조 제어 신호가 제공되는 경우에도 제어 가능하면서 인간과 유사한 강조를 생성하는 것은 텍스트 음성 변환(TTS)에서 여전히 해결해야 할 과제로 남아 있으며, 이는 실제 응용 분야에서 합성 음성의 의사소통 정확도를 제한합니다. 최근 인간 선호도에 맞게 TTS 시스템을 사후 학습(post-training)하는 데 강화학습(RL)이 유망함을 보여주었으나, 기존 방법들은 단어 수준의 운율 제어에 적용되지 않았습니다. 본 논문에서는 강조 국소화 보상(reward)을 갖춘 지속 시간 예측기에 그룹 상대 정책 최적화(GRPO)를 적용하여 단어 수준 강조에 대한 직접적인 최적화를 가능하게 하는 비자기회귀(non-autoregressive) TTS 시스템인 EmphTTS를 제안합니다. 평가 결과에 따르면 EmphTTS는 최고의 강조 제어 능력을 달성하고 강조 객관적 평가에서 가장 우수한 성능을 보입니다. 주관적 선호도 평가에서 EmphTTS는 합성 그라운드 트루스(groundtruth) 및 대부분의 베이스라인보다 유의미하게 선호되었습니다. 절제 연구(ablation study)는 GRPO가 지도 파인튜닝 기반 지속 시간 모델링 및 단순한 발화 속도 조절을 넘어 강조 구현을 향상시키는 동시에, 독립적으로 학습된 지속 시간 예측기와 TTS 모델 간의 불일치를 완화함을 보여줍니다.