arXiv:2501.10525

DFingerNet: Noise-Adaptive Speech Enhancement for Hearing Aids

Iosif Tsangko, Andreas Triantafyllopoulos, Michael Müller, Hendrik Schröter, Björn W. Schuller

제출 2025-01-17

원문 초록

The DeepFilterNet (DFN) architecture was recently proposed as a deep learning model suited for hearing aid devices. Despite its competitive performance on numerous benchmarks, it still follows a `one-size-fits-all' approach, which aims to train a single, monolithic architecture that generalises across different noises and environments. However, its limited size and computation budget can hamper its generalisability. Recent work has shown that in-context adaptation can improve performance by conditioning the denoising process on additional information extracted from background recordings to mitigate this. These recordings can be offloaded outside the hearing aid, thus improving performance while adding minimal computational overhead. We introduce these principles to the DFN model, thus proposing the DFingerNet (DFiN) model, which shows superior performance on various benchmarks inspired by the DNS Challenge.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25948v1cs.SD공통 태그 Denoising, Speech Enhancement

실제 대화 음성 향상을 위한 다화자 추출의 과제

Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement

목표 화자(target-speaker) 및 다화자(multi-speaker) 추출은 다른 화자 및/또는 잡음이 존재하는 환경에서 원하는 한 명 또는 여러 명의 화자 음성을 추출하는 기법이다. 이 과제에 대한 신경망 접근법은 종종 시뮬레이션 데이터셋으로 학습 및 평가되며, 목표 음성과 목표 음성과 밀접히 일치하는 화자 등록(speaker enrolment) 샘플이 균형 있게 포함된다. 그러나 실제 다자간 대화에서는 참가자들이 말하는 시간보다 침묵하는 시간이 더 긴 경우가 많으며, 등록 음성 샘플은 대화 중 목표 음성과 상당히 달라질 수 있다. 이러한 요인들은 실제 대화 녹음에 대해 이러한 기법의 학습과 평가에 영향을 미칠 수 있다. 본 연구는 학습 시 과도한 침묵의 영향을 완화하는 새로운 손실 함수를 제안하며, STOI를 0.55에서 0.60으로, 주파수 가중 구간 SNR(frequency-weighted segmental SNR)을 4.35에서 5.12로 개선한다. 또한 등록 음성과 목표 음성 간 불일치의 영향을 탐구한다.

arXiv:2609.26306v1cs.CL공통 태그 Denoising, Speech Enhancement

CHiME-9 ECHI: 청각 장애 해소를 위한 대화 향상 머신러닝 챌린지

CHiME-9 ECHI: A Machine Learning Challenge for Enhancing Conversations to Address Hearing Impairment

이 연구는 청각 장애(Hearing Impairment)를 해소하기 위한 대화 향상(Enhancing Conversations) CHiME-9 챌린지의 과제와 결과를 소개한다. 이 챌린지는 방해 음성원과 효과음이 존재하는 시끄러운 카페테리아 형태의 환경에서 이루어지는 4인 대화 시나리오를 다룬다. 참가자에게는 Meta Aria 글래스와 보청기 마이크로 녹음한 오디오 녹음본과, 대화 참여자들의 깨끗한 음성 샘플이 제공된다. 과제는 음성의 명료도와 품질을 향상시키는 것을 목표로, 잡음이 섞인 다채널 녹음에서 대화 상대의 음성을 추출하는 것이며, 객관적 지표와 주관적 청취 테스트를 사용해 평가한다. 본 논문은 7개 팀의 제출물을 검토하고, 주관적 명료도와 품질을 종합하여 순위를 매긴다. 결과에 따르면 객관적 지표는 청취자의 성능을 반영하지 못했지만, 상위 시스템들은 명료도와 품질 평가 모두에서 챌린지 기준선(baseline) 대비 상당한 향상을 달성했다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.14856v3cs.CV공통 태그 Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.