LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
원문 초록
Audio-visual speech enhancement aims to extract clean speech from a noisy environment by leveraging not only the audio itself but also the target speaker's lip movements. This approach has been shown to yield improvements over audio-only speech enhancement, particularly for the removal of interfering speech. Despite recent advances in speech synthesis, most audio-visual approaches continue to use spectral mapping/masking to reproduce the clean audio, often resulting in visual backbones added to existing speech enhancement architectures. In this work, we propose LA-VocE, a new two-stage approach that predicts mel-spectrograms from noisy audio-visual speech via a transformer-based architecture, and then converts them into waveform audio using a neural vocoder (HiFi-GAN). We train and evaluate our framework on thousands of speakers and 11+ different languages, and study our model's ability to adapt to different levels of background noise and speech interference. Our experiments show that LA-VocE outperforms existing methods according to multiple metrics, particularly under very noisy scenarios.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AnCoGen: Analysis, Control and Generation of Speech with a Masked Autoencoder
Speech Quality Assessment Model Based on Mixture of Experts: System-Level Performance Enhancement and Utterance-Level Challenge Analysis
RoVo: Robust Voice Protection Against Unauthorized Speech Synthesis with Embedding-Level Perturbations
Generative Data Augmentation Challenge: Zero-Shot Speech Synthesis for Personalized Speech Enhancement
UL-UNAS: 네트워크 아키텍처 탐색을 통한 실시간 음성 향상용 초경량 U-Net
UL-UNAS: Ultra-Lightweight U-Nets for Real-Time Speech Enhancement via Network Architecture Search
경량 모델은 실시간 음성 향상(speech enhancement) 응용 분야에서 필수적입니다. 최근 음성 향상을 위해 점점 더 컴팩트한 모델을 개발하는 추세가 이어지고 있습니다. 본 논문에서는 저용량(low-footprint) 기기 구현에 적합하며 네트워크 아키텍처 탐색(NAS)으로 최적화된 초경량 U-Net인 UL-UNAS를 제안합니다. 먼저, 가장 유망한 후보를 식별하기 위해 U-Net 프레임워크 내에서 다양한 효율적 합성곱 블록의 적용을 탐색합니다. 둘째로, 이러한 합성곱 블록의 용량을 향상시키기 위한 두 가지 부스팅 요소를 도입합니다. 바로 아핀 PReLU(affine PReLU)라는 새로운 활성화 함수와 인과적 시간-주파수 어텐션 모듈입니다. 나아가 정교하게 설계된 탐색 공간 내에서 최적의 아키텍처를 발견하기 위해 신경망 아키텍처 탐색을 활용합니다. 상기 전략들을 통합함으로써, UL-UNAS는 동일하거나 더 낮은 연산 복잡도에서 최신 초경량 모델들을 크게 능가할 뿐만 아니라, 실질적으로 훨씬 더 많은 연산 자원을 요구하는 최근 기준선(baseline) 모델들과 비교해도 경쟁력 있는 성능을 제공합니다. 소스 코드와 오디오 데모는 https://github.com/Xiaobin-Rong/ul-unas 에서 확인할 수 있습니다.
Robust One-step Speech Enhancement via Consistency Distillation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.