A Post Auto-regressive GAN Vocoder Focused on Spectrum Fracture
원문 초록
Generative adversarial networks (GANs) have been indicated their superiority in usage of the real-time speech synthesis. Nevertheless, most of them make use of deep convolutional layers as their backbone, which may cause the absence of previous signal information. However, the generation of speech signals invariably require preceding waveform samples in its reconstruction, as the lack of this can lead to artifacts in generated speech. To address this conflict, in this paper, we propose an improved model: a post auto-regressive (AR) GAN vocoder with a self-attention layer, which merging self-attention in an AR loop. It will not participate in inference, but can assist the generator to learn temporal dependencies within frames in training. Furthermore, an ablation study was done to confirm the contribution of each part. Systematic experiments show that our model leads to a consistent improvement on both objective and subjective evaluation performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
생성 AI 시대의 딥페이크 미디어 생성 및 탐지: 서베이와 전망
Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook
딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.
DeepGesture: A conversational gesture synthesis system based on emotions and semantics
RapFlow-TTS: Rapid and High-Fidelity Text-to-Speech with Improved Consistency Flow Matching
InstructTTSEval: Benchmarking Complex Natural-Language Instruction Following in Text-to-Speech Systems
Pushing the Performance of Synthetic Speech Detection with Kolmogorov-Arnold Networks and Self-Supervised Learning Models
ZipVoice: Fast and High-Quality Zero-Shot Text-to-Speech with Flow Matching
토론
이 논문과 연결된 포럼 글이 아직 없습니다.