arXiv:2610.14671v3 cs.CV

SPARE: 스트리밍 비디오 이해를 위한 공유 지각과 적응형 증거 검색

SPARE: Shared Perception and Adaptive Retrieval of Evidence for Streaming Video Understanding

Senbin Xu, Zijun Zhang, Xinhua Wu, Li He, Jubo Feng, Li Qiao, Zhen Gao, Yan Zhang, Jixiang Luo, Rongrong Ji

제출 2026-11-13

한국어 초록

스트리밍 비디오 이해는 관찰된 비디오로부터 질문에 답해야 하며, 증거는 최근 관찰이나 이전 사건에서 얻어진다. 과거 컨텍스트는 재현율을 높일 수 있지만 최근 프레임에 기반한 판단을 방해할 수도 있다. 그 유용성은 언제 도입되는지와 어떤 클립이 선택되는지에 모두 달려 있으며, 관련성만으로는 답을 위한 충분한 증거가 보장되지 않는다. 우리는 적응형 과거 검색과 시각 인코더 공유를 결합한 프레임워크 SPARE를 제안한다. 경량 게이트가 최근 관찰이 질문에 답하기에 충분한 증거를 제공하는지 예측한다. 추가 증거가 필요하다고 예측되면 멀티모달 임베딩 모델이 관련된 과거 클립을 검색하여 현재 컨텍스트를 보완한다. LoRA 지시 튜닝은 이해 모델이 최근 관찰과 검색된 과거를 함께 사용하도록, 그리고 증거가 여전히 불충분할 때 답변을 보류하도록 학습시킨다. 중복되는 시각 파라미터를 줄이기 위해 이해 분기와 검색 분기는 별도의 언어 백본을 유지하면서 시각 인코더를 공유한다. 네 개의 선형 어댑터가 시각 토큰 수준과 최종 검색 임베딩 수준에서의 증류를 통해 공유 특징을 검색 모델과 정렬한다. 시각 입력만 사용했을 때 SPARE는 OVO-Bench의 평가된 Real-time 및 Backward 과제군에서 77.78%, StreamingBench에서 73.31%를 달성한다. 2 fps로 평가한 Qwen3-VL-8B-Instruct와 비교하여 SPARE는 정확도를 OVO-Bench에서 20.68 퍼센트포인트, StreamingBench에서 14.15 퍼센트포인트 향상시킨다.

원문 초록

Streaming video understanding requires answering questions from the observed video, with evidence drawn from recent observations or earlier events. Historical context can improve recall but may interfere with judgments based on recent frames. Its usefulness depends on both when it is introduced and which clips are selected, while relevance alone does not guarantee sufficient evidence for an answer. We propose SPARE, a framework that combines adaptive historical retrieval with visual encoder sharing. A lightweight gate predicts whether recent observations provide sufficient evidence to answer the question. When additional evidence is predicted to be necessary, a multimodal embedding model retrieves relevant historical clips to supplement the current context. LoRA instruction tuning trains the understanding model to use recent observations and retrieved history jointly and abstain when the evidence remains insufficient. To reduce redundant visual parameters, the understanding and retrieval branches share a visual encoder while retaining separate language backbones. Four linear adapters align the shared features with the retrieval model through distillation at the visual token and final retrieval embedding levels. With visual-only inputs, SPARE achieves 77.78% on the evaluated Real-time and Backward task groups of OVO-Bench and 73.31% on StreamingBench. Compared with Qwen3-VL-8B-Instruct evaluated at 2 fps, SPARE improves accuracy by 20.68 percentage points on OVO-Bench and 14.15 percentage points on StreamingBench.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.14671v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.