마이크로폰 기하 구조 인식 지역 대상 화자 추출
Microphone Geometry Aware Regional Target Speaker Extraction
한국어 초록
지역 대상 화자 추출(RSE)은 지정된 각도 영역에서 발생하는 음성을 추출하는 것을 목표로 하며, 위치 기반 음성 추출을 수행할 때 정확한 대상 화자 위치에 대한 요구를 완화한다. 그러나 기존 RSE 방법은 일반적으로 고정된 마이크로폰 배열 구성과 마이크로폰 수를 가정하므로, 보지 못한 마이크로폰 기하 구조와 다양한 마이크로폰 수에 대한 적용성이 제한된다. 본 연구는 다양한 마이크로폰 배열 기하 구조와 마이크로폰 수로 추출할 수 있는 기하 구조 인식 RSE 프레임워크를 제안한다. 구체적으로, 마이크로폰 간 위상 정보를 인코딩하는 어텐션 기반 다채널 프런트엔드와, 프런트엔드의 공간 표현 품질을 향상시키기 위한 공간 오디오 재구성 기반 보조 목적 함수를 도입한다. 실험 결과, 제안한 프레임워크는 마이크로폰 네 개의 배열 전반에서 기하 구조 인식 기준선 대비 SI-SDRi를 5.1 dB 향상시키며, 정사면체 마이크로폰 배열에서 평가했을 때 정사면체 기하 구조 전용 기준선과의 성능 차이를 0.6 dB 미만으로 유지한다.
원문 초록
Regional target speaker extraction (RSE) aims to extract speech originating from a specified angular region, relaxing the requirement for precise target speaker location when performing location based speech extraction. However, existing RSE methods typically assume a fixed microphone array configuration and microphone number, limiting their applicability to unseen microphone geometries and varying numbers of microphones. In this work, we propose a geometry-aware RSE framework capable of extract with varying microphone array geometry and microphone numbers. Specifically, we introduce an attention-based multichannel front-end to encode inter-microphone phase information, together with a spatial audio reconstruction-based auxiliary objective to improve the front-end spatial representations quality. Experimental results demonstrate that the proposed framework improves SI-SDRi by 5.1 dB over geometry-aware baselines across microphone arrays with four-microphones, while maintaining a performance gap of less than 0.6 dB compared with a tetrahedral geometry-specific baseline when evaluated on the tetrahedral microphone array.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.00894v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.