arXiv:2611.01263v1 cs.CV

StreamClarify: 근거 기반 스트리밍 비디오 질의응답을 위한 능동적 명확화

StreamClarify: Proactive Clarification for Grounded Streaming Video Question Answering

Zhuchen Shao, Bo Chen, Klara Nahrstedt

제출 2026-11-03

한국어 초록

스트리밍 비디오 질의응답(QA)은 엄격한 지연 시간과 활성 컨텍스트 예산 아래에서 연속적인 비디오 스트림에 대한 실시간 추론을 요구한다. 현재의 스트리밍 비전-언어 모델(VLM)은 질의가 모호하거나 잘못된 전제를 가질 때, 또는 관련 시각 증거가 더 이상 활성 컨텍스트에 없을 때 자신 있지만 근거 없는 답변을 내놓는 경우가 많다. 능동적 명확화가 도움이 될 수 있으나 동일한 지연 시간 및 메모리 제약을 충족해야 한다. 우리는 답변 전 불확실성 검사와 계층적 메모리를 결합한 근거 기반 스트리밍 QA용 훈련 불필요 프레임워크인 StreamClarify를 제시한다. 이 검사는 이진 답변 전 판단의 엔트로피를 경량 불확실성 점수로 사용하여 직접 답할지 명확화를 요청할지 결정한다. 재답변을 지원하기 위해 시간 피라미드 KV 캐시가 제한된 활성 시각 컨텍스트를 유지하고, CPU 측 의미 검색 아카이브가 과거 프레임에 대한 접근을 제공한다. 또한 StreamBench와 OVO-Bench에서 추출한 1,837개 QA 쌍으로 구성되며 표준, 지시 모호성, 답변 불가능 시나리오를 아우르는 진단용 벤치마크 StreamClarify-QA를 구축한다. 세 가지 VLM 백본에 걸쳐 StreamClarify는 백본이 동일한 기준선 대비 Macro 정확도를 최대 8.2점 향상시킨다. 비슷한 트리거 비율에서 엔트로피 기반 선택은 처음에 틀린 답을 식별하는 정밀도가 무작위 선택보다 18점 넘게 높다. 오라클 사용자 안내 하에서 명확화는 Macro 정확도를 최대 3.5점 향상시킨다. 또한 생성된 질문과 지시 대상만 담은 사용자 응답을 사용한 모호한 QA에서 통제된 오라클 지원 Qwen3-VL 시뮬레이션을 보고하며, 여기서 엔트로피 게이팅 조건은 정확도를 8.3점 향상시킨다.

원문 초록

Streaming video question answering (QA) requires real-time reasoning over continuous video streams under strict latency and active-context budgets. Current streaming vision-language models (VLMs) often give confident yet ungrounded answers when queries are ambiguous or have false premises, or when relevant visual evidence is no longer in the active context. Proactive clarification can help, but must satisfy the same latency and memory constraints. We present StreamClarify, a training-free framework for grounded streaming QA that combines a pre-answer uncertainty check with hierarchical memory. The check uses the entropy of a binary pre-answer judgment as a lightweight uncertainty score to decide whether to answer directly or request clarification. To support re-answering, a temporal-pyramid KV cache maintains a bounded active visual context, while a CPU-side semantic retrieval archive provides access to historical frames. We further construct StreamClarify-QA, a diagnostic benchmark of 1,837 QA pairs from StreamBench and OVO-Bench, spanning standard, referential ambiguity, and unanswerable scenarios. Across three VLM backbones, StreamClarify improves Macro accuracy by up to 8.2 points over backbone-matched baselines. At comparable trigger rates, entropy-based selection achieves more than 18 points higher precision than random selection in identifying initially incorrect answers. Under oracle user guidance, clarification improves Macro accuracy by up to 3.5 points. We also report a controlled, oracle-assisted Qwen3-VL simulation on Ambiguous QA with generated questions and referent-only user replies, where the entropy-gated condition improves accuracy by 8.3 points.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.01263v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.