그라운드, 커버, 리파인: 긴 비디오 질의응답을 위한 증거 중심 프레임 선택
Ground, Cover, and Refine: Evidence-Centric Frame Selection for Long-Video Question Answering
한국어 초록
긴 비디오 질의응답은 제한된 시각 토큰(visual-token) 예산 하에서 수천 개의 프레임이 포함된 비디오로부터 희소하지만 중요한 증거를 식별하는 것을 요구합니다. 기존 방식들은 단일 패스로 질의 인지적 프레임을 선택하거나 타임스탬프가 지정된 텍스트를 검색 유도용으로만 의존하여 두 가지 주요 한계를 보입니다. 첫째, 선택된 프레임들이 국소적 관련성 피크 주변에 군집하는 경향이 있어 예산이 소진되면 누락된 증거를 복구할 수 없습니다. 둘째, 텍스트 증거와 시각적 증거의 정렬이 여전히 취약합니다. 본 논문에서는 고정 예산 프레임 선택을 공동 증거 큐레이션 문제로 다루는 학습(training)이 필요 없는 프레임워크인 GCR을 제안합니다. Ground(그라운드) 단계는 타임스탬프 텍스트를 시간적 이벤트로 변환하고 질의와 관련된 실제 프레임 앵커를 선택하며, 각 이벤트 텍스트를 시간적으로 정렬된 프레임 위에 렌더링합니다. Cover(커버) 단계는 상호보완적인 시각적 증거를 제공하기 위해 그라운딩된 이벤트에 직접적인 시각적 앵커를 보충하고, 다양한 맥락을 보존하고자 전역 최대 한계 관련성(maximal marginal relevance)을 적용합니다. Refine(리파인) 단계는 누락된 시간 영역을 다시 탐색하여 더 높은 증거 가치를 제공하는 경우에 한해 가장 취약한 수정 가능 맥락 프레임을 실제 프레임 메도이드(medoid)로 대체합니다. GCR은 시간 순서대로 정렬된 고정 개수의 프레임을 유지하며, VLM 학습이나 구조 변경을 요구하지 않습니다. 3개의 7B 백본과 8, 32, 64개의 프레임 예산에 대해 LongVideoBench 및 Video-MME에서 수행한 실험은 긴 비디오 질의응답 전반에서 일관된 성능 향상을 입증합니다. 7B LLaVA-OV 백본 및 32개 프레임 설정에서 GCR은 두 벤치마크에서 각각 64.25%와 62.15%를 달성하여 가장 강력한 재현 기준 모델들을 각각 2.54%p 및 1.93%p 능가합니다.
원문 초록
Long-video question answering requires identifying sparse yet critical evidence from videos containing thousands of frames under a constrained visual-token budget. Existing methods either select query-aware frames in a single pass or rely on timestamped text solely as retrieval guidance, leading to two key limitations. First, selected frames tend to cluster around local relevance peaks, and once the budget is exhausted, omitted evidence cannot be recovered. Second, textual and visual evidence remain weakly aligned. We propose GCR, a training-free framework that casts fixed-budget frame selection as a joint evidence curation problem. Ground converts timestamped text into temporal events, selects query-relevant real frame anchors, and renders each event text onto its temporally aligned frame. Cover supplements grounded events with direct visual anchors for complementary visual evidence and applies global maximal marginal relevance to preserve diverse context. Refine revisits omitted temporal regions and replaces the weakest revisable context frame with a real-frame medoid---but only when the medoid offers greater evidence value. GCR maintains a fixed number of chronologically ordered frames and requires no VLM training or architectural modification. Experiments on LongVideoBench and Video-MME, across three 7B backbones and frame budgets of 8, 32, and 64, demonstrate consistent improvements in long-video QA. With the 7B LLaVA-OV backbone and 32 frames, GCR achieves 64.25% and 62.15% on the two benchmarks, outperforming the strongest reproduced baselines by 2.54 and 1.93 percentage points, respectively.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01660v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.