REVEAL: 장시간 비디오 질의응답을 위한 루브릭 기반 명시적 증거 충분성 검증 에이전트
REVEAL: A Rubric-Guided Agent for Explicit Evidence Sufficiency Verificationin Long-Video Question Answering
한국어 초록
최근 검색-증강(retrieval-augmented) 및 메모리-증강(memory-augmented) 방법이 장시간 비디오 질의응답(long-video question answering)을 위한 두 가지 유망한 패러다임으로 부상했다. 그러나 기존 방법은 대개 고정된 길이의 시간 청킹(예: 10초)과 정적 오프라인 메모리 뱅크에 의존하여, 일관된 연속 사건을 단편화할 뿐 아니라 실시간 추론 중 적응에도 실패한다. 더 나아가 다중 스케일 요약이든 멀티모달 지식 그래프든, 현재 접근법은 검색 관련성을 우선시하면서 증거 충분성(evidence sufficiency)은 간과하는 경우가 많아, 핵심적인 시간적·인과적·세밀한 행동 증거가 아직 부족한데도 의미적으로 관련된 단서만 검색되면 답변을 멈춘다. 이러한 과제를 해결하기 위해 우리는 루브릭 기반 에이전트 프레임워크인 REVEAL을 제안한다. 기반으로서, 시각적으로 일관된 인접 프레임을 자연스러운 사건 단위로 묶는 적응형 시각 유사도 기반 전처리 파이프라인을 도입하여, 오프라인-온라인 비디오 메모리를 구성한다—오프라인에서는 전역 비디오 맥락을 포착하고 온라인에서는 질문 조건화(question-conditioned) 메모리를 동적으로 유지한다. 이 구조화된 메모리 위에서 REVEAL은 자동 구축된 루브릭 라이브러리를 사용해 검색된 증거가 충분성 기준을 만족하는지 명시적으로 검증하고, 검증 실패 시 누락된 단서를 특정하며, 보완 정보를 위한 표적 재검색(targeted re-retrieval)을 지시한다. 추가 학습 없이 REVEAL은 광범위한 실험에서 폐쇄형·오픈소스 최신(state-of-the-art) 방법 모두를 일관되게 능가한다. 이 결과는 의미적 관련성에서 멈추기보다 증거 충분성을 명시적으로 검증하는 것이 이전 방법이 놓친 결정적 단서를 검색하고 더 신뢰할 수 있는 장시간 비디오 추론을 가능하게 함을 보여준다.
원문 초록
Recently, retrieval-augmented and memory-augmented methods have emerged as two promising paradigms for long-video question answering. However, existing methods typically rely on rigid, fixed-length temporal chunking (e.g., 10s) and static offline memory banks, which not only fragment coherent continuous events but also fail to adapt during real-time reasoning. Moreover, whether using multi-scale summaries or multimodal knowledge graphs, current approaches prioritize retrieval relevance while overlooking evidence sufficiency, often stopping to answer once only semantically relevant clues are retrieved, even when key temporal, causal, or fine-grained action evidence is still missing. To tackle these challenges, we propose REVEAL, a rubric-guided agent framework. As a foundation, we introduce an adaptive visual-similarity-based preprocessing pipeline that groups visually coherent adjacent frames into natural event units to construct an offline-online video memory---capturing global video context offline while dynamically maintaining question-conditioned memory online. Built upon this structured memory, REVEAL uses an automatically constructed rubric library to explicitly verify whether retrieved evidence satisfies sufficiency criteria, pinpoints missing clues upon verification failure, and directs targeted re-retrieval for complementary information. Without any extra training, REVEAL consistently outperforms both closed-source and open-source state-of-the-art methods across extensive experiments. These results show that explicitly verifying evidence sufficiency, rather than stopping at semantic relevance, retrieves the decisive clues that prior methods miss and yields more reliable long-video reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.08612v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.