본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
최근 대규모 오디오 언어 모델(LALM)은 오디오 이해 분야에서 눈부신 발전을 이루었습니다. 그러나 기존 평가는 대부분 영어와 좁은 오디오 영역에 국한되어 있습니다. 이전 벤치마크는 일반적으로 음성, 음향, 음악과 같은 단일 오디오 모달리티에 집중하여, 이러한 모델들이 다양한 시각적 시나리오 전반에 어떻게 일반화되는지에 대한 체계적인 조사를 제한했습니다. 본 논문에서는 음성, 음향, 음악, 혼합 오디오 환경, 시각적 이미지를 포함한 여러 모달리티와 6개 언어에 걸친 다국어 및 멀티모달 오디오 이해 벤치마크인 EXAM$^2$를 소개합니다. 이종 오디오 입력과 함께 시각적 정보를 통합함으로써, EXAM$^2$는 장면 인지 오디오 추론 및 교차 모달 이해에 대한 보다 현실적인 평가를 가능하게 합니다. EXAM$^2$는 5,667개의 객관식 질문, 22,614개의 이미지 인스턴스, 135,684개의 다국어 번역으로 구성됩니다. 최고 수준의 오픈소스 및 독점 LALM과 멀티모달 LLM을 평가한 결과, 다국어 및 교차 모달 이해에서 상당한 성능 격차가 드러났습니다. 나아가 본 논문에서는 EXAM$^2$-train으로 파인튜닝된 경량 융합 모델인 Gemma3n-EXAM$^2$를 제안하며, 이는 강력한 기준선(baseline) 대비 다국어 환경에서 최대 15.8%, 멀티모달 평가에서 16.5%의 성능 향상을 달성합니다. 실증적 결과는 EXAM$^2$가 도전적인 벤치마크임을 입증하며 향후 다국어 및 멀티모달 오디오 지능 연구를 개척합니다.
현재 오디오-비전 질의응답(QA)을 위한 자동화된 파이프라인은 일반적으로 "비디오-캡션-QA" 패러다임을 채택합니다. 그러나 이러한 방법들은 일반적으로 비디오를 짧은 클립으로 분할하고 오디오 및 비전 모달리티에 대해 별도의 설명을 생성합니다. 이러한 분리된 처리는 소리와 시각적 근원 간의 본질적인 연결을 끊으며, 독립적인 클립 처리는 종종 세그먼트 간에 동일한 개체(entity)에 대한 불일치하는 설명을 초래합니다. 또한, 긴 텍스트 이해와 QA 합성을 단일 단계로 결합하는 것은 모델을 국지적 사건으로 제한하여, 장기적인 시간적 연결과 심층적인 교차 모달 추론이 결여된 질문을 생성하게 만듭니다. 이러한 문제들을 해결하기 위해, 우리는 두 가지 메커니즘을 특징으로 하는 자동화된 데이터 엔진을 제안합니다: (1) \textbf{Entity-Anchored Video Scripting(개체 고정 비디오 스크립팅)}은 비디오를 요약, 주요 개체 목록, 세그먼트별 오디오-비전 설명으로 구성된 구조화된 스크립트로 변환합니다. 개체 목록은 세그먼트 간 참조 일관성을 보장하고 오디오-비전 연결을 재구성하는 전역적 선행 정보(global prior)로 작용합니다. (2) \textbf{Clue-Guided QA Generation(단서 기반 QA 생성)}은 모델이 먼저 스크립트에서 세그먼트 간 멀티모달 단서를 추출하도록 프롬프트하고, 이후 이러한 가치 높은 단서를 기반으로 QA 쌍을 생성합니다. 이 파이프라인을 활용하여 우리는 인스트럭션 튜닝(instruction-tuning) 데이터셋인 \textbf{OmniVideo-100K}와 인간 검증 테스트 세트인 \textbf{OmniVideo-Test}를 구축했습니다. OmniVideo-100K에서 VITA-1.5, Qwen2.5-Omni-7B 및 Qwen3-Omni-30B를 미세조정(fine-tuning)한 결과 OmniVideo-Test에서 최대 20.59%의 성능 향상을 보였으며, Daily-Omni 및 JointAVBench와 같은 기존 벤치마크에서 강력한 일반화(최대 12.64% 향상)를 입증했습니다.
멀티모달 대규모 언어 모델(MLLM)이 강력한 옴니모달 지각 능력을 보여주지만, 기존 벤치마크가 주로 회고적 이해에 초점을 맞추고 있어 오디오-비주얼 단서에서 미래 사건을 예측하는 능력은 거의 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 오디오-비주얼 환경에서 옴니모달 미래 예측을 평가하도록 설계된 첫 번째 벤치마크인 FutureOmni를 소개합니다. 평가 대상 모델은 미래 사건을 예측하기 위해 모달 간 인과 및 시간적 추론을 수행하고 내부 지식을 효과적으로 활용해야 합니다. FutureOmni는 확장 가능한 LLM 보조 및 인간-루프(human-in-the-loop) 파이프라인을 통해 구축되었으며, 8개의 주요 도메인에 걸쳐 919개의 비디오와 1,034개의 객관식 QA 쌍을 포함합니다. 13개의 옴니모달 모델과 7개의 비디오 전용 모델에 대한 평가 결과, 현재 시스템은 오디오-비주얼 미래 예측, 특히 음성 중심 시나리오에서 어려움을 겪는 것으로 나타났으며, Gemini 3 Flash가 64.8%의 최고 정확도를 기록했습니다. 이러한 한계를 완화하기 위해, 우리는 7천 샘플의 인스트럭션 튜닝 데이터셋을 구성하고 옴니모달 미래 예측(OFF) 학습 전략을 제안합니다. FutureOmni와 인기 있는 오디오-비주얼 및 비디오 전용 벤치마크에 대한 평가는 OFF가 미래 예측과 일반화를 향상시킴을 입증합니다. 우리는 모든 코드(https://github.com/OpenMOSS/FutureOmni)와 데이터셋(https://huggingface.co/datasets/OpenMOSS-Team/FutureOmni)을 공개합니다.