arXiv:2307.14739

Audio Inputs for Active Speaker Detection and Localization via Microphone Array

Davide Berghi, Philip J. B. Jackson

제출 2023-07-27

원문 초록

This study considers the problem of detecting and locating an active talker's horizontal position from multichannel audio captured by a microphone array. We refer to this as active speaker detection and localization (ASDL). Our goal was to investigate the performance of spatial acoustic features extracted from the multichannel audio as the input of a convolutional recurrent neural network (CRNN), in relation to the number of channels employed and additive noise. To this end, experiments were conducted to compare the generalized cross-correlation with phase transform (GCC-PHAT), the spatial cue-augmented log-spectrogram (SALSA) features, and a recently-proposed beamforming method, evaluating their robustness to various noise intensities. The array aperture and sampling density were tested by taking subsets from the 16-microphone array. Results and tests of statistical significance demonstrate the microphones' contribution to performance on the TragicTalkers dataset, which offers opportunities to investigate audio-visual approaches in the future.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.21954v2cs.CV공통 태그 Active Speaker Detection공식 코드 · Papers with Code

활성 화자 탐지(ASD) 재조명: 일반화와 강건성을 위한 실제 환경(in-the-wild) 벤치마크

Revisiting Active Speaker Detection: An In-the-Wild Benchmark for Generalization and Robustness

우리는 활성 화자 탐지(ASD) 작업에서 모델의 일반화 성능을 높이기 위해 도전적인 시나리오를 강조하는 새로운 데이터셋인 UniTalk를 소개합니다. AVA와 같은 기존 벤치마크는 주로 오래된 영화로 구성되어 있어 실제 환경 비디오와 상당한 도메인 격차를 보입니다. 이와 대조적으로, UniTalk는 언어 표현이 부족한 경우, 노이즈가 있는 배경, 혼잡한 장면 등 도전적인 실제 환경 조건을 반영하는 다양한 비디오 유형을 아우르면서도 규모 면에서는 AVA와 대등합니다. 광범위한 평가 결과, ASD는 현실적인 조건에서 여전히 해결되지 않은 문제임이 밝혀졌습니다. AVA에서 거의 완벽한 성능을 보이는 최첨단(SOTA) 모델들조차 UniTalk에서는 성능 포화에 도달하지 못했습니다. 반대로, UniTalk로 학습된 모델은 Talkies와 ASW를 포함한 최신 실제 환경(in-the-wild) 데이터셋에 대해 더 우수한 일반화 성능을 보였습니다. 이에 따라 UniTalk는 ASD를 위한 새로운 벤치마크를 수립하여, 연구자들이 다재다능하고 강건한 모델을 개발하고 평가할 수 있는 귀중한 자원을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.