Video-DeepResearch: 차세대 멀티모달 딥리서치 에이전트를 향하여
Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent
한국어 초록
본 논문에서는 멀티모달 에이전트(multimodal agent)를 정적 이미지에서 연속적인 비디오 스트림으로 확장한 Video-DeepResearch(Video-DR)를 소개합니다. 이는 개방형 웹 탐험(exploration)과 결합된 조밀한 시공간적 그라운딩(spatiotemporal grounding)을 요구하는 설정입니다. 사전 평가 결과 현재 모델들에서 두 가지 치명적인 병목 현상이 드러났습니다. 첫째는 에이전트가 시각적 도구를 건너뛰고 텍스트 검색을 선호하는 모달리티 바이어스(modality bias)이며, 둘째는 모델이 진정한 도구 증강 실행 대신 내부 메모리에 의존하는 파라메트릭 지식 누출(parametric knowledge leakage)입니다. 이러한 문제를 해결하기 위해, 웹 검색에 앞서 프레임 간 철저한 시각적 그라운딩을 강제하는 단계별 도구 잠금 해제 기능을 갖춘 분리형 인지-탐험 파이프라인의 Video-DR을 제안합니다. 본 프레임워크는 지도 미세조정(supervised fine-tuning) 후 그룹 상대 정책 최적화(GRPO, Group Relative Policy Optimization)를 수행하는 2단계 학습(training) 레시피를 채택하여, 모방 학습의 한계를 극복하는 자율적 탐험을 가능하게 합니다. 나아가 200개의 복잡한 다단계(multi-hop) VQA 인스턴스로 구성된 인간-AI 협업 벤치마크인 Video-DR-Bench를 구축했습니다. 실증적 결과에 따르면 Video-DeepResearch-35B-A3B는 평균 정확도 64.0%로 새로운 최고 성능(SOTA)을 달성하여 상용 모델인 Claude-4.5-Sonnet(59.0%)을 5.0% 포인트 앞서고, GPT-5(52.5%) 및 Gemini 2.5 Pro(57.5%)를 크게 능가했습니다. 30B-A3B 변형 모델은 59.3%를 달성하여 Claude-4.5-Sonnet과 대등한 경쟁력을 보였으며, 컴팩트한 규모에서도 본 학습 패러다임의 효과성을 입증했습니다. 코드는 https://github.com/Osilly/Vision-DeepResearch 에서 확인할 수 있습니다.
원문 초록
We introduce Video-DeepResearch (Video-DR), extending multimodal agents from static images to continuous video streams, a setting that demands dense spatiotemporal grounding coupled with open-web exploration. Preliminary evaluations reveal two critical bottlenecks in current models: (1) modality bias, where agents bypass visual tools in favor of textual search, and (2) parametric knowledge leakage, where models rely on internal memory rather than genuine tool-augmented execution. To address these challenges, we propose Video-DR, featuring a decoupled perception-exploration pipeline with stage-wise tool unlocking that compels exhaustive cross-frame visual grounding prior to web retrieval. Our framework adopts a two-stage training recipe: supervised fine-tuning followed by Group Relative Policy Optimization (GRPO), enabling autonomous exploration that breaks the imitation-learning ceiling. Furthermore, we curate Video-DR-Bench, a human-AI collaborative benchmark comprising 200 complex, multi-hop VQA instances. Empirical results demonstrate that our Video-DeepResearch-35B-A3B establishes a new state-of-the-art of 64.0% average accuracy, surpassing proprietary Claude-4.5-Sonnet (59.0%) by 5.0 points and significantly outperforming GPT-5 (52.5%) and Gemini 2.5 Pro (57.5%). The 30B-A3B variant achieves 59.3%, competitive with Claude-4.5-Sonnet and demonstrating the effectiveness of our training paradigm even at compact scale. Code: https://github.com/Osilly/Vision-DeepResearch.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.03979v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.