arXiv:2611.23055v1 cs.AI

FrameRouter: Video-MME-v2와 기타 긴 비디오 이해 과제를 위한 프레임 예산 라우팅

FrameRouter: Frame Budget Routing for Long-Video Understanding on Video-MME-v2 and Beyond

Bingjun Luo, Jialin Guo, Siqi Li

제출 2026-11-18

한국어 초록

Video-MME-v2 같은 긴 비디오 질의응답 벤치마크는 쿼리마다 필요한 근거의 양이 크게 달라도 보통 모든 질문에 같은 프레임 예산을 적용한다. Video-MME-v2에서 이 불일치를 분석했다. 질문의 하위 집합마다 효과적인 고정 프레임 예산 정책이 달랐고, 모든 질문에서 프레임 수를 똑같이 늘려도 모든 평가지표가 일관되게 개선되지는 않았다. 이를 바탕으로 평균을 고정하는 프레임 예산 라우팅을 제안한다. 질문마다 다른 프레임 예산을 배정하되 평균은 모든 질문에 같은 예산을 적용하는 기준과 맞추는 통제된 추론 조건이다. 추가 학습 없이 테스트 시 적용하는 FrameRouter는 근거 요구량을 판단하는 라우터, 예산 제약을 준수하는 할당 규칙, 고정된 프레임 샘플링 정책 모음을 결합한다. 기반 샘플러는 그대로 두고 각 질문에 제공할 시각적 근거의 양을 조절하므로, 쿼리를 고려한 프레임 선택과 별개로 적용할 수 있다. Video-MME-v2와 여러 긴 비디오 이해 벤치마크에서 FrameRouter는 동일한 평균 시각 정보 예산을 질문별로 더 선별적으로 배분해 긴 비디오 질의응답 성능을 높였다. 코드는 https://github.com/bingjunluo/FrameRouter 에 공개되어 있다.

원문 초록

Long-video question answering benchmarks like Video-MME-v2 typically evaluate systems under a uniform frame budget for every question, despite stark variation in the evidence each query actually demands. We analyze this mismatch on Video-MME-v2 and find that different question subsets prefer different frozen frame-budget policies, while uniformly increasing the frame count does not reliably improve all metrics. These findings motivate fixed-mean frame-budget routing, a controlled inference setting in which each question may receive a different frame budget while the average budget matches a uniform reference. We introduce FrameRouter, a training-free test-time framework that combines an evidence-demand router, a budget-constrained allocation rule, and a frozen bank of frame-sampling policies. By controlling how much visual evidence each question receives while leaving the underlying samplers unchanged, FrameRouter is orthogonal to query-aware frame selection. Across Video-MME-v2 and several long-video understanding benchmarks, FrameRouter improves long-video question answering by using the same average visual budget more selectively across questions. Code is available at https://github.com/bingjunluo/FrameRouter.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23055v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.