Minimally-Supervised Speech Synthesis with Conditional Diffusion Model and Language Model: A Comparative Study of Semantic Coding
원문 초록
Recently, there has been a growing interest in text-to-speech (TTS) methods that can be trained with minimal supervision by combining two types of discrete speech representations and using two sequence-to-sequence tasks to decouple TTS. However, existing methods suffer from three problems: the high dimensionality and waveform distortion of discrete speech representations, the prosodic averaging problem caused by the duration prediction model in non-autoregressive frameworks, and the information redundancy and dimension explosion problems of existing semantic encoding methods. To address these problems, three progressive methods are proposed. First, we propose Diff-LM-Speech, an autoregressive structure consisting of a language model and diffusion models, which models the semantic embedding into the mel-spectrogram based on a diffusion model to achieve higher audio quality. We also introduce a prompt encoder structure based on a variational autoencoder and a prosody bottleneck to improve prompt representation ability. Second, we propose Tetra-Diff-Speech, a non-autoregressive structure consisting of four diffusion model-based modules that design a duration diffusion model to achieve diverse prosodic expressions. Finally, we propose Tri-Diff-Speech, a non-autoregressive structure consisting of three diffusion model-based modules that verify the non-necessity of existing semantic encoding models and achieve the best results. Experimental results show that our proposed methods outperform baseline methods. We provide a website with audio samples.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
소리 내어 생각하는 구어 언어 모델
Spoken Language Models that Think Aloud
사고의 연쇄(Chain-of-Thought, CoT) 추론은 언어 모델의 능력을 향상시켜 왔으나, 구어 언어 모델(SLM)에 이를 직접 적용하면 직렬적인 "생각 후 발화(think-then-speak)" 패러다임에서 긴 침묵 구간이 생겨 실시간 구어 상호작용을 방해할 수 있다. 이 문제를 해결하기 위해 우리는 Thinker-Talker 아키텍처 안에서 추론 기반 SLM을 위한 비동기 think-aloud 프레임워크를 제안한다. 이 프레임워크는 논리적 연역을 담당하는 주 추론 스트림과, 사용자 입력 및 변화하는 추론 상태를 조건으로 짧고 과제에 그라운딩된 진행 발화를 생성하는 경량 think-aloud 스트림을 유지한다. 동적 균형 전략이 런타임에 두 스트림을 조율하며, 침묵 공백을 피하기 위해 추가 think-aloud 발화를 트리거하고 최종 응답이 준비되면 대기 중인 발화를 취소한다. 구어 추론 및 질의응답 벤치마크 실험에서 본 접근법은 추론 중 사용자에게 들리는 침묵을 크게 줄이면서 직렬 "think-then-speak" 기준선과 비슷한 답변 정확도를 유지함을 보여 주며, SLM에서 반응형 상호작용을 위한 비동기 think-aloud의 잠재력을 입증한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.