WaveCycleGAN: Synthetic-to-natural speech waveform conversion using cycle-consistent adversarial networks
원문 초록
We propose a learning-based filter that allows us to directly modify a synthetic speech waveform into a natural speech waveform. Speech-processing systems using a vocoder framework such as statistical parametric speech synthesis and voice conversion are convenient especially for a limited number of data because it is possible to represent and process interpretable acoustic features over a compact space, such as the fundamental frequency (F0) and mel-cepstrum. However, a well-known problem that leads to the quality degradation of generated speech is an over-smoothing effect that eliminates some detailed structure of generated/converted acoustic features. To address this issue, we propose a synthetic-to-natural speech waveform conversion technique that uses cycle-consistent adversarial networks and which does not require any explicit assumption about speech waveform in adversarial learning. In contrast to current techniques, since our modification is performed at the waveform level, we expect that the proposed method will also make it possible to generate `vocoder-less' sounding speech even if the input speech is synthesized using a vocoder framework. The experimental results demonstrate that our proposed method can 1) alleviate the over-smoothing effect of the acoustic features despite the direct modification method used for the waveform and 2) greatly improve the naturalness of the generated speech sounds.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Region-Based Optimization in Continual Learning for Audio Deepfake Detection
GRAFT: 제로샷 텍스트 음성 변환에서 세밀한 발음을 위한 접목된 참조 오디오
GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech
본 논문에서는 텍스트 음성 변환(text-to-speech) 신경망 코덱 언어 모델링을 위한 단어 단위 발음 컨디셔닝 메커니즘인 GRAFT를 제안한다. 기존 시스템들은 높은 명료성과 자연스러움을 달성하지만 텍스트의 모호성을 그대로 물려받아 희귀한 고유명사, 외래어, 전문 용어를 잘못 발음하는 경향이 있다. 음소 조건부 모델조차도 단어별 발음에 대한 직접적인 음향적 제어 수단을 제공하지 않는다. GRAFT는 짧은 발화 샘플에서 선택한 단어의 발음을 제어하는데, 이 샘플은 모델 자체의 음성 토크나이저로 인코딩되어 프롬프트(prompt) 내 해당 단어의 위치에 바인딩된다. 학습(training) 데이터 구성 과정에서 음성 변환을 적용하여 힌트 화자와 목표 화자를 분리함으로써, 힌트는 임의의 음성에서 가져오더라도 출력은 목표 화자의 음성을 유지한다. 영어 블라인드 청취 실험에서 인간 평가자들은 GRAFT를 명확한 마진(margin)으로 1위로 선택하였으며, 어려운 단어의 렌더링이 해당 단어의 참조 녹음에 가장 가깝다고 평가하였다. 5개 언어 객관적 벤치마크에서 GRAFT는 동일한 텍스트 전용 백본 대비 목표 단어 음소 오류율을 22–39% 감소시키며, 음소 조건부 및 텍스트 조건부 방식을 포함한 경쟁력 있는 오픈소스 제로샷 시스템들을 목표 단어 발음 측면에서 능가하는 동시에 화자 유사성과 자연스러움을 유지한다.
SALF-MOS: Speaker Agnostic Latent Features Downsampled for MOS Prediction
ArVoice: A Multi-Speaker Dataset for Arabic Speech Synthesis
Investigating self-supervised features for expressive, multilingual voice conversion
Generative Adversarial Network based Voice Conversion: Techniques, Challenges, and Recent Advancements
토론
이 논문과 연결된 포럼 글이 아직 없습니다.