HMM-based data augmentation for E2E systems for building conversational speech synthesis systems
원문 초록
This paper proposes an approach to build a high-quality text-to-speech (TTS) system for technical domains using data augmentation. An end-to-end (E2E) system is trained on hidden Markov model (HMM) based synthesized speech and further fine-tuned with studio-recorded TTS data to improve the timbre of the synthesized voice. The motivation behind the work is that issues of word skips and repetitions are usually absent in HMM systems due to their ability to model the duration distribution of phonemes accurately. Context-dependent pentaphone modeling, along with tree-based clustering and state-tying, takes care of unseen context and out-of-vocabulary words. A language model is also employed to reduce synthesis errors further. Subjective evaluations indicate that speech produced using the proposed system is superior to the baseline E2E synthesis approach in terms of intelligibility when combining complementing attributes from HMM and E2E frameworks. The further analysis highlights the proposed approach's efficacy in low-resource scenarios.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
소리 내어 생각하는 구어 언어 모델
Spoken Language Models that Think Aloud
사고의 연쇄(Chain-of-Thought, CoT) 추론은 언어 모델의 능력을 향상시켜 왔으나, 구어 언어 모델(SLM)에 이를 직접 적용하면 직렬적인 "생각 후 발화(think-then-speak)" 패러다임에서 긴 침묵 구간이 생겨 실시간 구어 상호작용을 방해할 수 있다. 이 문제를 해결하기 위해 우리는 Thinker-Talker 아키텍처 안에서 추론 기반 SLM을 위한 비동기 think-aloud 프레임워크를 제안한다. 이 프레임워크는 논리적 연역을 담당하는 주 추론 스트림과, 사용자 입력 및 변화하는 추론 상태를 조건으로 짧고 과제에 그라운딩된 진행 발화를 생성하는 경량 think-aloud 스트림을 유지한다. 동적 균형 전략이 런타임에 두 스트림을 조율하며, 침묵 공백을 피하기 위해 추가 think-aloud 발화를 트리거하고 최종 응답이 준비되면 대기 중인 발화를 취소한다. 구어 추론 및 질의응답 벤치마크 실험에서 본 접근법은 추론 중 사용자에게 들리는 침묵을 크게 줄이면서 직렬 "think-then-speak" 기준선과 비슷한 답변 정확도를 유지함을 보여 주며, SLM에서 반응형 상호작용을 위한 비동기 think-aloud의 잠재력을 입증한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.