arXiv:2609.31193v2 cs.CV

누가 무엇을 말하는가: 오디오-비주얼 LLM의 기호적 삼중모달 결합 메커니즘

Who Says What: Symbolic Trimodal Binding Mechanisms in Audio-Visual LLMs

Jihoo Jung, Youngjoon Jang, Joon Son Chung

제출 2026-11-18

한국어 초록

현재의 오디오-비주얼 LLM(AVLLM)은 다수 화자가 대화하는 비디오에 대한 추론에 어려움을 겪는다. 이러한 비디오에서는 "누가 무엇을 말하는가"를 해소하는 것이 중요하며, 이를 위해 삼중모달(텍스트-오디오-시각) 결합이 필요하다. 이러한 문제의식에서, 우리는 AVLLM에서 이 삼중모달 결합이 어떻게 달성되는지를 체계적으로 조사한다. 구체적으로, 우리는 모달리티별 기호 변수를 활용하는 창발적 기호적 삼중모달 결합 메커니즘을 AVLLM에서 확인한다. 청각 및 시각 구성 요소를 각각 시간적 발화 순서와 공간적 개체 좌표를 포착하는 기호 변수로 인코딩함으로써, 모델은 이 추상 공간 안에서 모달리티 간 연결을 수립한다. 특히 삼중모달 결합이 실패할 때 그 붕괴가 주로 오디오와 시각 연결의 불일치에서 비롯됨을 밝힌다. 이 병목을 극복하기 위해, 우리는 기성 능동 화자 검출(ASD) 모델을 활용하는 오디오-비주얼 프롬프팅 방법을 도입한다. 활성 화자 위에 시각적 경계 상자를 덧씌우기만 하는 이 학습 불필요 접근법은 대화 중심의 네 개 벤치마크 전반에서 즉각적인 성능 향상을 가져온다. 더 나아가, ASD 프롬프트가 적용된 비디오에 대한 300 스텝 미만의 경량 미세조정은 이러한 향상을 세 개의 일반 AV 벤치마크로 확장하며, 이는 우리 방법의 일반화 가능성을 시사한다. 코드는 https://github.com/kaistmm/Who-Says-What 에서 이용할 수 있다.

원문 초록

Current Audio-Visual LLMs (AVLLMs) struggle with reasoning over videos featuring multi-speaker dialogues. In such videos, resolving "who says what" is crucial, which necessitates trimodal (text-audio-visual) binding. Motivated by these challenges, we systematically investigate how this trimodal binding is achieved in AVLLMs. Specifically, we identify emergent symbolic trimodal binding mechanisms in AVLLMs that utilize modality-specific symbolic variables. By encoding auditory and visual components into symbolic variables-capturing temporal utterance sequences and spatial entity coordinates, respectively-the model establishes cross-modal linking within this abstract space. Crucially, we reveal that when trimodal binding fails, the breakdown predominantly stems from misaligned audio-visual connections. To overcome this bottleneck, we introduce an audio-visual prompting method utilizing an off-the-shelf Active Speaker Detection (ASD) model. By simply overlaying visual bounding boxes on active speakers, this training-free approach yields immediate performance gains across four conversation-centric benchmarks. Moreover, lightweight fine-tuning of fewer than 300 steps on these ASD-prompted-videos extends these gains to three general AV benchmarks, suggesting the generalizability of our method. Our code is available at https://github.com/kaistmm/Who-Says-What.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.31193v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.