arXiv:2611.24184v1 cs.CV

VideoACE: 고프레임률 행동을 통한 에이전트형 비디오 이해 벤치마킹

VideoACE: Benchmarking Agentic Video Understanding through High-Frame-Rate Actions

Luoyuan Zhang, Xuanyu Zheng, Yancheng Long, Haoyang Xu, Bin Wen, Tingting Gao

제출 2026-11-19

한국어 초록

에이전트형 비디오 이해는 모델이 비디오 환경과 능동적으로 상호작용하여 증거를 수집하고 판단을 형성할 것을 요구한다. 따라서 이 능력을 평가하려면 모델이 상호작용의 기회를 더 나은 이해로 전환할 수 있는지를 평가해야 한다. 우리는 지속적인 상호작용을 지원하는 조건에서 비디오 이해를 평가하는 벤치마크 VideoACE를 소개한다. 우리는 빠르고 미묘한 변화로 인해 표적 관찰이 특히 가치 있는 고프레임률 행동 비디오에 초점을 맞춘다. 이 벤치마크는 세밀한 행동 이해의 여섯 가지 범주에 걸친 1,000개의 객관식 문항으로 구성되며, 시간적 증거 주석과 정답 누출 여부를 검토한 사용자 힌트가 함께 제공된다. 평가 환경은 비디오 검사 도구와 사용자 시뮬레이터를 결합하여, 모델이 시간적 범위, 샘플링 밀도, 공간적 세부 수준을 조정하고 증거를 다시 확인하며 시뮬레이션된 사용자 피드백에 따라 판단을 수정할 수 있게 한다. 우리는 단일 패스 관찰, 자율적 도구 사용, 도구 사용과 사용자 피드백의 결합을 평가하여 모델이 이러한 기회를 얼마나 효과적으로 활용하는지 살펴본다. 다섯 개 모델에 대한 평가는 이들이 증거를 획득하는 방식과 추가 상호작용 기회에 반응하는 방식에서 뚜렷한 패턴이 있음을 드러낸다. 이러한 결과는 VideoACE가 고정된 관찰 설정에서의 성능을 넘어 에이전트형 비디오 이해를 검토하기 위한 테스트베드임을 확립한다.

원문 초록

Agentic video understanding requires models to actively interact with video environments to gather evidence and form judgments. Evaluating this capability therefore requires assessing whether models can translate opportunities for interaction into better understanding. We introduce VideoACE, a benchmark for assessing video understanding under conditions that support sustained interaction. We focus on high-frame-rate action videos, where rapid, subtle changes make targeted observation especially valuable. The benchmark comprises 1,000 multiple-choice questions spanning six categories of fine-grained action understanding, accompanied by temporal evidence annotations and user hints screened for answer leakage. Its evaluation environment combines video inspection tools with a user simulator, allowing models to adjust temporal coverage, sampling density, and spatial detail, and to revisit evidence and revise their judgments under simulated user feedback. We evaluate single-pass observation, autonomous tool use, and tool use combined with user feedback to examine how effectively models exploit these opportunities. Evaluation of five models reveals distinct patterns in how they acquire evidence and respond to opportunities for further interaction. These findings establish VideoACE as a testbed for examining agentic video understanding beyond performance under a fixed observation setting.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24184v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.