arXiv:2005.11676

Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge

Andros Tjandra, Sakriani Sakti, Satoshi Nakamura

제출 2020-05-24

원문 초록

In this paper, we report our submitted system for the ZeroSpeech 2020 challenge on Track 2019. The main theme in this challenge is to build a speech synthesizer without any textual information or phonetic labels. In order to tackle those challenges, we build a system that must address two major components such as 1) given speech audio, extract subword units in an unsupervised way and 2) re-synthesize the audio from novel speakers. The system also needs to balance the codebook performance between the ABX error rate and the bitrate compression rate. Our main contribution here is we proposed Transformer-based VQ-VAE for unsupervised unit discovery and Transformer-based inverter for the speech synthesis given the extracted codebook. Additionally, we also explored several regularization methods to improve performance even further.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.19537v4cs.CV공통 태그 Speech Synthesis공식 코드 · Papers with Code

생성 AI 시대의 딥페이크 미디어 생성 및 탐지: 서베이와 전망

Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook

딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.