옴니-모달 모델은 하나의 시스템에서 텍스트, 이미지, 오디오를 처리할 수 있지만, 이 모든 능력을 함께 향상시키는 것은 여전히 어렵다. 풀링된 멀티모달 데이터로 단일 모델을 학습하는 것은 종종 개별 모달리티에 특화된 모델에 미치지 못한다. 온-정책 증류(on-policy distillation, OPD)는 이러한 전문가들을 결합하는 방법을 제공한다. 학생(student)이 응답을 생성하고 교사(teacher)가 그 동일한 응답을 평가하므로, 학생은 실제로 생성하는 행동으로부터 직접 학습한다. 그러나 여러 교사를 사용하면 상충하는 지도가 도입될 수 있고, 한 모달리티를 다른 모달리티의 희생을 치르고 향상시킬 수 있다. 우리는 각 학생 응답을 해당하는 텍스트, 이미지 또는 오디오 교사로 라우팅하는 온-정책 옴니 증류(On-Policy Omni Distillation, OPOD)를 제안한다. OPOD는 교사가 학생보다 더 높은 확률을 부여하는 토큰에만 교사 지도를 유지하고, 학습 중 각 모달리티 교사의 영향력을 독립적으로 조정하며, 라우팅된 교사에게 최종 답과 추론이 정답을 뒷받침하는지 여부를 모두 평가하도록 한다. 12개 벤치마크와 3가지 백본 크기에 걸쳐 OPOD는 모든 규모에서 최고 평균 점수를 달성하며 70.8, 51.7, 46.2에 도달하고, 가장 강력한 비교 대상을 2.1, 1.8, 1.7점 초과한다. 30B 모델에서는 12개 벤치마크 모두에서 기본 모델과 풀링된 멀티모달 데이터에 공동 사후학습된 대응 모델을 모두 능가하며, 개별 전문가가 포함된 경우에도 11개에서 1위 또는 2위를 차지한다. 전문가들은 학습 후 폐기되어 하나의 배포 가능한 옴니-모달 모델만 남는다. 이 결과는 모달리티별 교사를 조율하는 것이 교차-모달 균형을 유지하면서 공유 모델을 개선하는 효과적인 방법임을 보여준다.
전방위 모달 증거 탐색 QA는 비디오, 오디오, 이미지, 웹 페이지, 연산 결과에 걸쳐 희소하게 분산된 증거를 바탕으로 에이전트가 질문에 답하도록 요구한다. 기존 에이전트 기반 멀티모달 시스템은 증거를 스크래치패드, 도구 궤적, 자유형 히스토리에 남겨두는 경우가 많아, 무엇이 그라운딩되었는지, 무엇이 누락되었는지, 언제 증거가 충분한지를 추적하기 어렵다. 우리는 전방위 모달 QA를 쿼리 범위의 증거 완결 프로세스로 전환하는 학습 없는 증거-상태 시스템 Omni-Decision을 제안한다. 각 쿼리에 대해 Omni-Decision은 확인된 증거, 미해결 충돌, 사실 및 연산 의존성, 미충족 증거 요구사항을 포함하는 구조화된 증거 상태를 유지한다. 공유 상태 뷰는 계획, 증거 수집, 검증, 수정, 최종화를 조건화한다. 미디어, 웹, 연산, 검증 모듈로부터의 이질적 관측값은 결정론적 상태 업데이트를 통해 정규화, 판단, 커밋된다. 이 설계는 목표 지향적 증거 수집을 가능하게 하고, 희소한 교차 모달 단서를 보존하며, 수정 및 종료에 대한 검사 가능한 제어를 제공한다. Omni-Decision은 OmniGAIA에서 45.6%, WorldSense에서 58.3%의 정확도를 달성하여 기준선 대비 각각 +27.3 및 +30.2 퍼센트포인트 향상되었다. 상태 없음 어블레이션 및 궤적 감사는 다단계 전방위 모달 증거 탐색에서 명시적 증거-상태 제어의 역할을 추가로 뒷받침한다.
Human intelligence naturally intertwines omni-modal perception -- spanning vision, audio, and language -- with complex reasoning and tool usage to interact with the world. However, current multi-modal LLMs are primarily confined to bi-modal interactions (e.g., vision-language), lacking the unified cognitive capabilities required for general AI assistants. To bridge this gap, we introduce OmniGAIA, a comprehensive benchmark designed to evaluate omni-modal agents on tasks necessitating deep reasoning and multi-turn tool execution across video, audio, and image modalities. Constructed via a novel omni-modal event graph approach, OmniGAIA synthesizes complex, multi-hop queries derived from real-world data that require cross-modal reasoning and external tool integration. Furthermore, we propose OmniAtlas, a native omni-modal foundation agent under tool-integrated reasoning paradigm with active omni-modal perception. Trained on trajectories synthesized via a hindsight-guided tree exploration strategy and OmniDPO for fine-grained error correction, OmniAtlas effectively enhances the tool-use capabilities of existing open-source models. This work marks a step towards next-generation native omni-modal AI assistants for real-world scenarios.
롱폼 옴니-모달 비디오 이해는 비전, 음성 및 주변 오디오를 일관된 긴 문맥 추론과 통합해야 합니다. 기존 비디오 벤치마크는 종종 시간적 규모, 모달리티 커버리지, 개방형 상호작용, 해석 가능한 채점 사이에서 상충 관계에 있습니다. 이러한 격차를 해결하기 위해 우리는 LongShOTBench를 소개합니다. 이는 전체적인 옴니-모달 통합, 의도 기반 개방형 상호작용, 루브릭 수준 진단이라는 세 가지 결합된 목표를 중심으로 설계된 긴 영상 이해 벤치마크입니다. 이는 실제 시청 시나리오에서 단일 및 멀티턴 질문을 구성하며, 비전, 음성, 주변 오디오, 시간적, 그리고 모달 간 추론을 탐색하는 체계적인 작업을 포함합니다. 각 항목은 참조 답안과 가중치가 적용된 기준 수준 루브릭을 포함하여, 평가 시 어떤 지각적 사실, 시간적 연결, 모달리티 그라운딩 요구사항 및 추론 단계가 충족되었거나 누락되었는지 식별할 수 있게 합니다. 모든 샘플은 그라운딩, 명확성 및 루브릭 신뢰성을 높이기 위해 수동으로 검증되었습니다. 또한, 전체 비디오 전처리를 목표 지향 검색, 쿼리 적응형 세그먼트 정제, 비전, 음성 및 비음성 오디오 증거에 대한 명시적 주장 검증과 결합한 학습 없는 옴니-모달 증거 탐색 에이전트인 LongShOTAgent를 소개합니다. 이의 반복적인 검색-정제-검증 루프는 중간 증거를 드러내고, 답변 전에 모달리티별 전문가가 관련 순간을 재분석할 수 있게 합니다. 우리는 오픈 소스 옴니-모달 모델, 비전-언어 시스템, 오디오 LLM, 에이전트 파이프라인 및 클로즈드 소스 API에 걸쳐 있는 105개의 비디오 처리 가능 모델을 평가했습니다. 현재 MLLM(멀티모달 대규모 언어 모델)은 LongShOTBench를 완벽히 해결하기에는 아직 멀었으며, 반면 우리의 LongShOTAgent는 전체 66.64%를 달성하여 가장 강력한 학습 없는 시스템입니다. 벤치마크, 리더보드 및 방법론을 공개함으로써, 우리는 롱폼 옴니-모달 비디오 추론을 발전시키기 위한 공유되고 해석 가능한 테스트베드를 제공합니다. 코드, 데이터 및 리더보드는 https://longshot.cvmbzuai.com/ 에서 확인할 수 있습니다.