arXiv:2409.17898

MC-SEMamba: A Simple Multi-channel Extension of SEMamba

Wen-Yuan Ting, Wenze Ren, Rong Chao, Hsin-Yi Lin, Yu Tsao, Fan-Gang Zeng

제출 2024-09-26

원문 초록

Transformer-based models have become increasingly popular and have impacted speech-processing research owing to their exceptional performance in sequence modeling. Recently, a promising model architecture, Mamba, has emerged as a potential alternative to transformer-based models because of its efficient modeling of long sequences. In particular, models like SEMamba have demonstrated the effectiveness of the Mamba architecture in single-channel speech enhancement. This paper aims to adapt SEMamba for multi-channel applications with only a small increase in parameters. The resulting system, MC-SEMamba, achieved results on the CHiME3 dataset that were comparable or even superior to several previous baseline models. Additionally, we found that increasing the number of microphones from 1 to 6 improved the speech enhancement performance of MC-SEMamba.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2510.16834v3cs.SD공통 태그 Speech Enhancement, Mamba

1-스텝 음성 향상을 위한 Schrödinger Bridge Mamba

Schrödinger Bridge Mamba for One-Step Speech Enhancement

본 논문은 Schrödinger Bridge(SB) 학습 패러다임과 Mamba 아키텍처를 통합하여 효율적인 음성 향상을 수행하는 새로운 모델인 Schrödinger Bridge Mamba(SBM)를 제안한다. 노이즈 제거와 잔향 제거 통합 과제 실험에서 SBM은 추론을 단 1회만 수행하면서도 여러 지표에서 강력한 생성형 및 판별형 방법을 능가하며, 스트리밍 적용 가능성을 위한 경쟁력 있는 실시간 인자(real-time factor)를 달성함을 보여준다. 절제 연구(ablation studies) 결과, SB 패러다임은 다양한 아키텍처에서 전통적인 매핑(mapping) 방식 대비 일관되게 성능 향상을 가져옴을 확인했다. 또한 SB 패러다임 하에서 Mamba는 Multi-Head Self-Attention(MHSA) 및 Long Short-Term Memory(LSTM) 백본 대비 더 우수한 성능을 보였다. 이러한 결과는 Mamba 아키텍처와 SB 궤적 기반 학습 간의 시너지를 부각하며, 실제 환경 음성 향상을 위한 고품질 해결책을 제공한다. 데모 페이지: https://sbmse.github.io

토론

이 논문과 연결된 포럼 글이 아직 없습니다.