PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.10359v1cs.CV

Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task

Video Question Answering (VideoQA) task serves as a critical playground for evaluating whether foundation models can effectively perceive, understand, and reason about dynamic real-world scenarios. However, existing Multimodal Large Language Models (MLLMs) struggle with simultaneously modeling spatial relationships within video frames and understanding the causal dynamics of temporal evolution on complex and reasoning-intensive VideoQA task. In this work, we equip MLLM with a comprehensive and extensible Video Toolkit, to enhance MLLM's spatiotemporal reasoning capabilities and ensure the harmony between the quantity and diversity of tools. To better control the tool invocation sequence and avoid toolchain shortcut issues, we propose a Spatiotemporal Reasoning Framework (STAR) that strategically schedules temporal and spatial tools, thereby progressively localizing the key area in the video. Our STAR framework enhances GPT-4o using lightweight tools, achieving an 8.2% gain on VideoMME and 4.6% on LongVideoBench. We believe that our proposed Video Toolkit and STAR framework make an important step towards building autonomous and intelligent video analysis assistants. The code is publicly available at https://github.com/fansunqi/VideoTool.

arXiv:2605.23176v2cs.CV

DRIVESPATIAL: 자율 주행용 비전-언어 모델(VLM)의 시공간 지능을 위한 벤치마크

DRIVESPATIAL: A Benchmark for Spatiotemporal Intelligence in VLMs for Autonomous Driving

자율 주행(AD)에서의 시공간 지능은 에이전트가 다중 뷰 관찰을 일관된 장면 표현으로 통합하고, 관점과 시간에 걸쳐 객체 연속성을 유지하며, 공간 관계, 상호작용 및 미래 역학에 대해 추론할 것을 요구합니다. 그러나 기존 AD 비전-언어 벤치마크는 대부분 단일 뷰, 정적, 자기 중심적(ego-centric), 또는 단일 소스 질의응답에 초점을 맞추고 있어, 현재 비전-언어 모델(VLM)이 동적인 주행 장면을 진정으로 구성하고 추론할 수 있는지 여부가 불분명합니다. 우리는 5개의 대규모 AD 데이터셋에서 20개 작업에 걸친 1만 5600개의 인간 검증 질의응답 쌍으로 구성된 벤치마크인 DriveSpatial을 소개합니다. DriveSpatial은 인지적 장면 구성, 다중 뷰 관계 이해, 시간적 추론, 일반화의 4가지 능력을 평가합니다. 이전 벤치마크와 달리, DriveSpatial은 객체 상태, 공간 관계, 상호작용, 카메라 가시성 및 시간적 대응을 인코딩하는 동적 다중 관계 장면 그래프에서 생성되어, 진정한 뷰 간 및 시공간 추론을 요구하는 질의응답 쌍을 가능하게 합니다. 15개의 대표적인 VLM을 평가한 결과 상당한 인간-모델 격차가 드러났습니다: 가장 강력한 모델도 인간보다 28.4점 뒤처지며, 인지적 장면 구성이 주요 병목 현상으로 나타났습니다. 추가적인 진단 결과, 언어 전용 프롬프팅은 불충분하며, 명시적인 BEV 그라운딩이 성능을 일관되게 향상시키는 것으로 나타났습니다. 이러한 결과는 현재 VLM이 신뢰할 수 있는 시공간 주행 지능에 필요한 장면 구성 능력이 부족함을 시사합니다. DriveSpatial과 그 구성 파이프라인은 향후 연구를 지원하기 위해 공개될 예정입니다.