arXiv:2401.14271 공식 코드 · Papers with Code

Improving Design of Input Condition Invariant Speech Enhancement

Wangyou Zhang, Jee-weon Jung, Shinji Watanabe, Yanmin Qian

제출 2024-01-25

원문 초록

Building a single universal speech enhancement (SE) system that can handle arbitrary input is a demanded but underexplored research topic. Towards this ultimate goal, one direction is to build a single model that handles diverse audio duration, sampling frequencies, and microphone variations in noisy and reverberant scenarios, which we define here as "input condition invariant SE". Such a model was recently proposed showing promising performance; however, its multi-channel performance degraded severely in real conditions. In this paper we propose novel architectures to improve the input condition invariant SE model so that performance in simulated conditions remains competitive while real condition degradation is much mitigated. For this purpose, we redesign the key components that comprise such a system. First, we identify that the channel-modeling module's generalization to unseen scenarios can be sub-optimal and redesign this module. We further introduce a two-stage training strategy to enhance training efficiency. Second, we propose two novel dual-path time-frequency blocks, demonstrating superior performance with fewer parameters and computational costs compared to the existing method. All proposals combined, experiments on various public datasets validate the efficacy of the proposed model, with significantly improved performance on real conditions. Recipe with full model details is released at https://github.com/espnet/espnet.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.00340v2eess.AS공통 태그 Speech Enhancement공식 코드 · Papers with Code

UL-UNAS: 네트워크 아키텍처 탐색을 통한 실시간 음성 향상용 초경량 U-Net

UL-UNAS: Ultra-Lightweight U-Nets for Real-Time Speech Enhancement via Network Architecture Search

경량 모델은 실시간 음성 향상(speech enhancement) 응용 분야에서 필수적입니다. 최근 음성 향상을 위해 점점 더 컴팩트한 모델을 개발하는 추세가 이어지고 있습니다. 본 논문에서는 저용량(low-footprint) 기기 구현에 적합하며 네트워크 아키텍처 탐색(NAS)으로 최적화된 초경량 U-Net인 UL-UNAS를 제안합니다. 먼저, 가장 유망한 후보를 식별하기 위해 U-Net 프레임워크 내에서 다양한 효율적 합성곱 블록의 적용을 탐색합니다. 둘째로, 이러한 합성곱 블록의 용량을 향상시키기 위한 두 가지 부스팅 요소를 도입합니다. 바로 아핀 PReLU(affine PReLU)라는 새로운 활성화 함수와 인과적 시간-주파수 어텐션 모듈입니다. 나아가 정교하게 설계된 탐색 공간 내에서 최적의 아키텍처를 발견하기 위해 신경망 아키텍처 탐색을 활용합니다. 상기 전략들을 통합함으로써, UL-UNAS는 동일하거나 더 낮은 연산 복잡도에서 최신 초경량 모델들을 크게 능가할 뿐만 아니라, 실질적으로 훨씬 더 많은 연산 자원을 요구하는 최근 기준선(baseline) 모델들과 비교해도 경쟁력 있는 성능을 제공합니다. 소스 코드와 오디오 데모는 https://github.com/Xiaobin-Rong/ul-unas 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.