arXiv:2409.10376

Leveraging Joint Spectral and Spatial Learning with MAMBA for Multichannel Speech Enhancement

Wenze Ren, Haibin Wu, Yi-Cheng Lin, Xuanjun Chen, Rong Chao, Kuo-Hsuan Hung, You-Jin Li, Wen-Yuan Ting, Hsin-Min Wang, Yu Tsao

제출 2024-09-16

원문 초록

In multichannel speech enhancement, effectively capturing spatial and spectral information across different microphones is crucial for noise reduction. Traditional methods, such as CNN or LSTM, attempt to model the temporal dynamics of full-band and sub-band spectral and spatial features. However, these approaches face limitations in fully modeling complex temporal dependencies, especially in dynamic acoustic environments. To overcome these challenges, we modify the current advanced model McNet by introducing an improved version of Mamba, a state-space model, and further propose MCMamba. MCMamba has been completely reengineered to integrate full-band and narrow-band spatial information with sub-band and full-band spectral features, providing a more comprehensive approach to modeling spatial and spectral information. Our experimental results demonstrate that MCMamba significantly improves the modeling of spatial and spectral features in multichannel speech enhancement, outperforming McNet and achieving state-of-the-art performance on the CHiME-3 dataset. Additionally, we find that Mamba performs exceptionally well in modeling spectral information.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2510.16834v3cs.SD공통 태그 Speech Enhancement, Mamba

1-스텝 음성 향상을 위한 Schrödinger Bridge Mamba

Schrödinger Bridge Mamba for One-Step Speech Enhancement

본 논문은 Schrödinger Bridge(SB) 학습 패러다임과 Mamba 아키텍처를 통합하여 효율적인 음성 향상을 수행하는 새로운 모델인 Schrödinger Bridge Mamba(SBM)를 제안한다. 노이즈 제거와 잔향 제거 통합 과제 실험에서 SBM은 추론을 단 1회만 수행하면서도 여러 지표에서 강력한 생성형 및 판별형 방법을 능가하며, 스트리밍 적용 가능성을 위한 경쟁력 있는 실시간 인자(real-time factor)를 달성함을 보여준다. 절제 연구(ablation studies) 결과, SB 패러다임은 다양한 아키텍처에서 전통적인 매핑(mapping) 방식 대비 일관되게 성능 향상을 가져옴을 확인했다. 또한 SB 패러다임 하에서 Mamba는 Multi-Head Self-Attention(MHSA) 및 Long Short-Term Memory(LSTM) 백본 대비 더 우수한 성능을 보였다. 이러한 결과는 Mamba 아키텍처와 SB 궤적 기반 학습 간의 시너지를 부각하며, 실제 환경 음성 향상을 위한 고품질 해결책을 제공한다. 데모 페이지: https://sbmse.github.io

토론

이 논문과 연결된 포럼 글이 아직 없습니다.