듣고, 보고, 추적하기: 옴니모달 언어 모델을 위한 시공간 오디오-비주얼 음향 이벤트 추론
Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models
한국어 초록
동적인 음원을 이해하려면 무엇이 소리를 내는지, 음원이 어디에 위치하는지, 그리고 시간에 따라 어떻게 움직이는지를 함께 판단해야 합니다. 그러나 기존 오디오-언어 모델은 클립을 전역적인 음향 이벤트로 표현하는 경우가 많고, 비전-언어 모델은 개별 음원을 위치 추정하고 추적하는 데 필요한 공간 오디오 단서가 부족합니다. 이러한 부족한 역량을 평가하기 위해, 우리는 움직이는 음원의 동기화된 1차 앰비소닉스(first-order Ambisonics, FOA) 오디오가 함께 제공되는 파노라마 영상으로 구축한 시공간 오디오-비주얼 질의응답 벤치마크인 ST-OmniQA를 소개합니다. 이 벤치마크는 4만 개의 영상과 40만 개의 질의응답 쌍을 포함하며, 음향 이벤트 인식, 도래 방향(direction of arrival), 음원 거리, 이동 궤적, 시간적으로 그라운딩된 오디오-비주얼 추론을 아우르는 네 가지 역량 수준으로 구성됩니다. 이 벤치마크를 바탕으로, 우리는 FOA에서 도출한 의미 표현 및 궤적 표현을 파노라마 시각 컨텍스트와 통합하고, 점진적 커리큘럼 학습과 추론 트리 강화학습(reasoning-tree reinforcement learning)으로 학습하는 ST-Omni-R1을 제안합니다. ST-Omni-R1은 네 가지 수준 전반에서 평균 의미 정확도 77.83%를 달성했으며, 이는 평가된 기준선 중 가장 우수한 모델의 37.28%와 비교됩니다. 또한 세 가지 공개 공간 오디오 벤치마크에서의 결과는 ST-Omni-R1이 학습한 공간 표현과 움직임 표현이 ST-OmniQA를 넘어서도 전이됨을 보여줍니다.
원문 초록
Understanding dynamic sound sources requires jointly determining what produces a sound, where the source is located, and how it moves over time. Yet existing audio-language models often represent clips as global acoustic events, while vision-language models lack the spatial audio cues needed to localize and track individual sources. To evaluate this missing capability, we introduce ST-OmniQA, a spatio-temporal audio-visual question-answering benchmark built from panoramic videos paired with synchronized first-order Ambisonics (FOA) audio of moving sound sources. It contains 40K videos and 400K question-answer pairs organized into four capability levels covering sound-event recognition, direction of arrival, source distance, motion trajectories, and temporally grounded audio-visual reasoning. Building on this benchmark, we propose ST-Omni-R1, which integrates FOA-derived semantic and trajectory representations with panoramic visual context and is trained through progressive curriculum learning and reasoning-tree reinforcement learning. ST-Omni-R1 achieves 77.83\% average semantic accuracy across the four levels, compared with 37.28\% for the best evaluated baseline. Results on three public spatial-audio benchmarks further indicate that its learned spatial and motion representations transfer beyond ST-OmniQA.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.09435v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.