Cross-lingual Knowledge Distillation via Flow-based Voice Conversion for Robust Polyglot Text-To-Speech
원문 초록
In this work, we introduce a framework for cross-lingual speech synthesis, which involves an upstream Voice Conversion (VC) model and a downstream Text-To-Speech (TTS) model. The proposed framework consists of 4 stages. In the first two stages, we use a VC model to convert utterances in the target locale to the voice of the target speaker. In the third stage, the converted data is combined with the linguistic features and durations from recordings in the target language, which are then used to train a single-speaker acoustic model. Finally, the last stage entails the training of a locale-independent vocoder. Our evaluations show that the proposed paradigm outperforms state-of-the-art approaches which are based on training a large multilingual TTS model. In addition, our experiments demonstrate the robustness of our approach with different model architectures, languages, speakers and amounts of data. Moreover, our solution is especially beneficial in low-resource settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
ReGen: 효율적인 파형 확산 모델을 위한 계층적 다중 프롬프트 표현 생성
ReGen: Hierarchical Multi-Prompt Representation Generation for Efficient Waveform Diffusion Models
표현 정렬(REPA)은 확산 학습을 가속화하기 위해 연구되어 왔으나, 확산 트랜스포머(DiT)의 중간 표현을 정규화하면 잠재 변수가 암묵적으로 얽히고 생성 용량이 제한될 수 있음을 관찰하였다. 이 문제를 해결하기 위해, 단일 확산 모델 내에서 표현과 데이터 모두에 대한 다중 벡터 필드를 공동으로 추정하는 계층적 다중 프롬프트 표현 생성 프레임워크인 ReGen을 제안한다. 또한 조건부 흐름 매칭(CFM)의 일반화를 향상시키기 위해 일반화된 흐름 매칭(GFM)을 도입한다. 신경 오디오 코덱과 Wave-VAE를 포함한 단일 단계 파형 확산 모델에서 ReGen을 검증한다. ReGen은 12.5 Hz에서 고도로 압축된 잠재 표현으로부터의 파형 생성 품질을 크게 향상시킨다. 또한 소규모 데이터셋으로 강력한 음성 명료도(WER)와 화자 유사도(SIM)를 달성하는 잠재 확산 모델(LDM) 기반 텍스트 음성 변환 모델인 ReGenVoice를 소개한다. 더불어, 풍부한 의미적·음향적 잠재 표현으로 6.25 Hz에서 LDM을 운용함으로써 효율적인 학습과 샘플링이 가능하며, 4개의 GPU로 단 1일의 학습만 필요하고 RTF 0.08의 빠른 추론을 제공한다. 오디오 샘플은 https://regenvoice.github.io/demo/ 에서 확인할 수 있다.
Multi-Stage Deep Transfer Learning for EmIoT-enabled Human-Computer Interaction
Wav2KWS: Transfer Learning from Speech Representations for Keyword Spotting
토론
이 논문과 연결된 포럼 글이 아직 없습니다.