arXiv:2611.22790v1 cs.CV

NexSight: 에이전트형 긴 비디오의 세밀한 이해를 위한 검증 가능한 과제

NexSight: Verifiable Tasks for Fine-Grained Agentic Long-Video Understanding

Tianci Xie, Li Chen, Pinxue Guo, Rui Zheng

제출 2026-11-18

한국어 초록

긴 비디오에 대한 세밀한 질문은 한 행동이 몇 번 일어나는지, 사건이 어떤 순서로 전개되는지, 상태가 정확히 언제 바뀌는지를 묻는다. 답을 내려면 몇 시간 분량의 영상에 흩어진 짧은 순간을 찾아야 할 수 있다. 언제 어디를 볼지 결정하는 에이전트형 모델은 이런 순간을 찾을 가능성이 있지만, 그 능력을 측정하고 학습시키기는 어렵다. 일부 근거로 행동이 일어났음을 확인할 수 있어도 총횟수까지 입증할 수는 없다. 영상의 시간축 전체에 관한 주장을 검증하려면 누락이나 중복 집계가 없는지 확인해야 한다. 답만 지도 신호로 주면 근거를 찾는 과정은 직접 학습시키지 못한다. 검증 가능한 과제를 만들어 에이전트형 긴 비디오 이해를 평가하고 학습시키는 NexSight를 제시한다. 에이전트형 파이프라인 SightForge는 초안 답을 보지 못한 검증기가 원본 비디오에서 촘촘히 다시 모은 근거로 답을 재구성할 수 있고 반례 검사로도 반박할 수 없을 때만 과제를 채택한다. 이 과정으로 긴 비디오 108개에서 근거를 추적할 수 있는 과제 310개를 담은 SightLine을 구축했다. 공통 다중 스케일 실행 환경인 SightLoop에서 평가한다. SightLoop는 반환한 관측을 기록하면서 시간축 탐색, 국소 검사, 근거 통합, 이전 구간 재검토를 지원한다. 서로 겹치지 않는 별도 비디오에서는 검증된 과제를 푸는 궤적이 관측 결정을 위한 단계별 지도 신호가 된다. SightLine에서 가장 우수한 모델의 정확도는 54.52%에 불과했으나, 주석이 달린 근거를 제공하면 79.35%였다. Sight-35B는 예시 6천 개 미만으로 기반 모델의 대화형 정확도를 21.29%에서 42.26%로 거의 두 배 높였고 같은 계열의 397B 모델을 앞섰다. 기반 모델에서는 관찰되지 않았던 명시적인 공간 검사도 사후 학습 뒤에 사용하기 시작했으며, 외부 긴 비디오 벤치마크 두 개에서 8%포인트 넘게 향상됐다.

원문 초록

Fine-grained questions about long videos ask how many times an action occurs, in what order events unfold, or exactly when a state changes. Answering them can require finding brief moments scattered across hours of footage. Agentic models that decide when and where to look promise to find these moments, yet this ability is hard both to measure and to learn. Sparse supporting evidence may establish that an action occurred without establishing its total count; verifying timeline-wide claims requires checking for missed occurrences and double counting. Answer-only supervision, in turn, does not explicitly supervise the search for evidence. We present NexSight, which builds verifiable tasks to both evaluate and train agentic long-video understanding. Its agentic pipeline, SightForge, accepts a task only if a verifier blind to the draft answer can reconstruct it from evidence densely reacquired from the raw video and counterexample checks fail to refute it. This yields SightLine, 310 evidence-traceable tasks from 108 long videos, evaluated through SightLoop, a shared multiscale harness supporting temporal exploration, local inspection, evidence integration, and revisiting while recording returned observations. On disjoint videos, solver trajectories on verified tasks become step-level supervision for observation decisions. The strongest model reaches only 54.52% on SightLine, yet 79.35% when given the annotated evidence. With under 6K examples, Sight-35B nearly doubles its base model's interactive accuracy (21.29% to 42.26%), outperforms the 397B model of its family, begins using explicit spatial inspection after post-training, which its base model never uses, and gains over 8 points on two external long-video benchmarks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22790v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.