Ultra-Low Latency Speech Enhancement - A Comprehensive Study
원문 초록
Speech enhancement models should meet very low latency requirements typically smaller than 5 ms for hearing assistive devices. While various low-latency techniques have been proposed, comparing these methods in a controlled setup using DNNs remains blank. Previous papers have variations in task, training data, scripts, and evaluation settings, which make fair comparison impossible. Moreover, all methods are tested on small, simulated datasets, making it difficult to fairly assess their performance in real-world conditions, which could impact the reliability of scientific findings. To address these issues, we comprehensively investigate various low-latency techniques using consistent training on large-scale data and evaluate with more relevant metrics on real-world data. Specifically, we explore the effectiveness of asymmetric windows, learnable windows, adaptive time domain filterbanks, and the future-frame prediction technique. Additionally, we examine whether increasing the model size can compensate for the reduced window size, as well as the novel Mamba architecture in low-latency environments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MambAttention: Mamba with Multi-Head Attention for Generalizable Single-Channel Speech Enhancement
1-스텝 음성 향상을 위한 Schrödinger Bridge Mamba
Schrödinger Bridge Mamba for One-Step Speech Enhancement
본 논문은 Schrödinger Bridge(SB) 학습 패러다임과 Mamba 아키텍처를 통합하여 효율적인 음성 향상을 수행하는 새로운 모델인 Schrödinger Bridge Mamba(SBM)를 제안한다. 노이즈 제거와 잔향 제거 통합 과제 실험에서 SBM은 추론을 단 1회만 수행하면서도 여러 지표에서 강력한 생성형 및 판별형 방법을 능가하며, 스트리밍 적용 가능성을 위한 경쟁력 있는 실시간 인자(real-time factor)를 달성함을 보여준다. 절제 연구(ablation studies) 결과, SB 패러다임은 다양한 아키텍처에서 전통적인 매핑(mapping) 방식 대비 일관되게 성능 향상을 가져옴을 확인했다. 또한 SB 패러다임 하에서 Mamba는 Multi-Head Self-Attention(MHSA) 및 Long Short-Term Memory(LSTM) 백본 대비 더 우수한 성능을 보였다. 이러한 결과는 Mamba 아키텍처와 SB 궤적 기반 학습 간의 시너지를 부각하며, 실제 환경 음성 향상을 위한 고품질 해결책을 제공한다. 데모 페이지: https://sbmse.github.io
EDNet: A Distortion-Agnostic Speech Enhancement Framework with Gating Mamba Mechanism and Phase Shift-Invariant Training
Active Speech Enhancement: Active Speech Denoising Decliping and Deveraberation
Robust One-step Speech Enhancement via Consistency Distillation
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.