SAV-SE: Scene-aware Audio-Visual Speech Enhancement with Selective State Space Model
원문 초록
Speech enhancement plays an essential role in various applications, and the integration of visual information has been demonstrated to bring substantial advantages. However, the majority of current research concentrates on the examination of facial and lip movements, which can be compromised or entirely inaccessible in scenarios where occlusions occur or when the camera view is distant. Whereas contextual visual cues from the surrounding environment have been overlooked: for example, when we see a dog bark, our brain has the innate ability to discern and filter out the barking noise. To this end, in this paper, we introduce a novel task, i.e. SAV-SE. To our best knowledge, this is the first proposal to use rich contextual information from synchronized video as auxiliary cues to indicate the type of noise, which eventually improves the speech enhancement performance. Specifically, we propose the VC-S$^2$E method, which incorporates the Conformer and Mamba modules for their complementary strengths. Extensive experiments are conducted on public MUSIC, AVSpeech and AudioSet datasets, where the results demonstrate the superiority of VC-S$^2$E over other competitive methods. We will make the source code publicly available. Project demo page: https://AVSEPage.github.io/
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MambAttention: Mamba with Multi-Head Attention for Generalizable Single-Channel Speech Enhancement
1-스텝 음성 향상을 위한 Schrödinger Bridge Mamba
Schrödinger Bridge Mamba for One-Step Speech Enhancement
본 논문은 Schrödinger Bridge(SB) 학습 패러다임과 Mamba 아키텍처를 통합하여 효율적인 음성 향상을 수행하는 새로운 모델인 Schrödinger Bridge Mamba(SBM)를 제안한다. 노이즈 제거와 잔향 제거 통합 과제 실험에서 SBM은 추론을 단 1회만 수행하면서도 여러 지표에서 강력한 생성형 및 판별형 방법을 능가하며, 스트리밍 적용 가능성을 위한 경쟁력 있는 실시간 인자(real-time factor)를 달성함을 보여준다. 절제 연구(ablation studies) 결과, SB 패러다임은 다양한 아키텍처에서 전통적인 매핑(mapping) 방식 대비 일관되게 성능 향상을 가져옴을 확인했다. 또한 SB 패러다임 하에서 Mamba는 Multi-Head Self-Attention(MHSA) 및 Long Short-Term Memory(LSTM) 백본 대비 더 우수한 성능을 보였다. 이러한 결과는 Mamba 아키텍처와 SB 궤적 기반 학습 간의 시너지를 부각하며, 실제 환경 음성 향상을 위한 고품질 해결책을 제공한다. 데모 페이지: https://sbmse.github.io
EDNet: A Distortion-Agnostic Speech Enhancement Framework with Gating Mamba Mechanism and Phase Shift-Invariant Training
Active Speech Enhancement: Active Speech Denoising Decliping and Deveraberation
Robust One-step Speech Enhancement via Consistency Distillation
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.