arXiv:2411.06217

Selective State Space Model for Monaural Speech Enhancement

Moran Chen, Qiquan Zhang, Mingjiang Wang, Xiangyu Zhang, Hexin Liu, Eliathamby Ambikairaiah, Deying Chen

제출 2024-11-09

원문 초록

Voice user interfaces (VUIs) have facilitated the efficient interactions between humans and machines through spoken commands. Since real-word acoustic scenes are complex, speech enhancement plays a critical role for robust VUI. Transformer and its variants, such as Conformer, have demonstrated cutting-edge results in speech enhancement. However, both of them suffers from the quadratic computational complexity with respect to the sequence length, which hampers their ability to handle long sequences. Recently a novel State Space Model called Mamba, which shows strong capability to handle long sequences with linear complexity, offers a solution to address this challenge. In this paper, we propose a novel hybrid convolution-Mamba backbone, denoted as MambaDC, for speech enhancement. Our MambaDC marries the benefits of convolutional networks to model the local interactions and Mamba's ability for modeling long-range global dependencies. We conduct comprehensive experiments within both basic and state-of-the-art (SoTA) speech enhancement frameworks, on two commonly used training targets. The results demonstrate that MambaDC outperforms Transformer, Conformer, and the standard Mamba across all training targets. Built upon the current advanced framework, the use of MambaDC backbone showcases superior results compared to existing \textcolor{black}{SoTA} systems. This sets the stage for efficient long-range global modeling in speech enhancement.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2510.16834v3cs.SD공통 태그 Speech Enhancement, Mamba

1-스텝 음성 향상을 위한 Schrödinger Bridge Mamba

Schrödinger Bridge Mamba for One-Step Speech Enhancement

본 논문은 Schrödinger Bridge(SB) 학습 패러다임과 Mamba 아키텍처를 통합하여 효율적인 음성 향상을 수행하는 새로운 모델인 Schrödinger Bridge Mamba(SBM)를 제안한다. 노이즈 제거와 잔향 제거 통합 과제 실험에서 SBM은 추론을 단 1회만 수행하면서도 여러 지표에서 강력한 생성형 및 판별형 방법을 능가하며, 스트리밍 적용 가능성을 위한 경쟁력 있는 실시간 인자(real-time factor)를 달성함을 보여준다. 절제 연구(ablation studies) 결과, SB 패러다임은 다양한 아키텍처에서 전통적인 매핑(mapping) 방식 대비 일관되게 성능 향상을 가져옴을 확인했다. 또한 SB 패러다임 하에서 Mamba는 Multi-Head Self-Attention(MHSA) 및 Long Short-Term Memory(LSTM) 백본 대비 더 우수한 성능을 보였다. 이러한 결과는 Mamba 아키텍처와 SB 궤적 기반 학습 간의 시너지를 부각하며, 실제 환경 음성 향상을 위한 고품질 해결책을 제공한다. 데모 페이지: https://sbmse.github.io

토론

이 논문과 연결된 포럼 글이 아직 없습니다.