다중 에이전트 청각 장면 분석: 다중 빔포밍 음성 품질 피드백을 통한 위치 추정 속도 및 강인성 개선
Multi-agent Auditory Scene Analysis: Improved Localization Speed and Robustness by Multi-beamformed Speech Quality Feedback
한국어 초록
실시간 청각 장면 분석기(ASA)는 주어진 음향 환경(environment)에 존재하는 음원의 위치를 추정하고, 분리하며, 분류하는 작업을 수행하는 것을 목표로 합니다. 최근에는 ASA를 다중 에이전트(agent) 시스템으로 모델링하여 각 에이전트가 앞서 언급된 작업 중 하나를 수행하고 그 결과를 동료 에이전트들에게 전달하도록 하는 시도가 이루어졌습니다. 이러한 통신 경로는 전역 수준에서 국소적 오류를 수정하는 피드백 루프로 활용되어, 국소적 복잡성을 줄이면서도 강인성을 제공합니다. 이 접근 방식의 이점에 대한 한 예시는 관심 음성 음원의 추정 위치를 실시간으로 보정함으로써 음성 품질을 최적화(optimization)하는 것입니다. 그러나 이들의 최적화 속도는 상당히 느린 것으로 나타났습니다. 가능한 한 가지 이유는 윈도우마다 크게 변동하는 일련의 단일 품질 추정치(무참조 품질 추정 모델(model)에 의해 제공됨)에만 전적으로 의존하여, 최적화하기 어려운 탐색 공간을 형성하기 때문입니다. 본 연구에서는 위치 범위에 걸친 일련의 품질 추정치 집합에 의존하여 탐색 공간에 대한 보다 명확한 시야를 제공하고 최적화를 단순화하는 새로운 최적화 메커니즘을 제안합니다. 제안된 ASA는 이전 연구보다 덜 복잡하면서도, 최적화 시간이 상당히 단축되었고, 더 정확하며, 실제 음향 시나리오에서 평가(evaluation)될 때 더 높은 수준의 위치 추정 오류를 보정하는 데 있어 더 안정적입니다. 유일한 절충점은 품질 추정 에이전트의 응답 시간이 증가한다는 것이지만, 전체 ASA는 여전히 실시간으로 동작할 수 있습니다. 본 연구에서 나타난 성능은 ASA를 다중 에이전트 시스템으로 모델링하는 것의 이점을 다시 한번 보여줍니다.
원문 초록
A real-time auditory scene analyzer (ASA) aims to carry out the tasks of locating, separating and classifying the sound sources present in a given acoustic environment. Recently, an effort has been made into modelling an ASA as a multi-agent system, with each one of its agents performing one of the aforementioned tasks and communicating their results to the rest of their peer agents. These communication routes are used as feedback loops to fix local errors at a global level, providing robustness while reducing local complexity. An example of the benefits of this approach is the optimization of speech quality by correcting in real-time the estimated location of the speech source of interest. However, their optimization speed has been shown to be considerably slow. One possible reason is that it solely relies on a series of single quality estimations (provided by a reference-free quality estimator model) that vary considerably from one window to the next, which results in a difficult search space to optimize. In this work, a new optimization mechanism is proposed that instead relies on a series of sets of quality estimations over a range of locations, providing a clearer view of the search space, simplifying its optimization. The proposed ASA now has a considerably smaller optimization time, is more accurate, and is more stable when being evaluated in real-life acoustic scenarios to correct higher levels of localization errors, all while being less complex than previous efforts. The only trade-off is that there is an increase in the response time of the quality estimation agent, but the complete ASA is still able to run in real-time. The performance shown in this work again shows the benefits of modelling an ASA as a multi-agent system.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization
Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
A Critical Assessment of Visual Sound Source Localization Models Including Negative Audio
Enhancing Sound Source Localization via False Negative Elimination
wav2pos: Sound Source Localization using Masked Autoencoders
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Submitted to Autonomous Agents and Multi-Agent Systems