arXiv:2608.30294v1 cs.CV

스트리밍 비디오 이해를 위한 동적 허브-앤-스poke 메모리

Dynamic Hub-and-Spoke Memory for Streaming Video Understanding

Xinru Jiang, Lin Zhao, Xi Xiao, Yunbei Zhang, Janet Wang, Chenrui Ma, Haolin Li, Yanzhi Wang, Yifan Gong, Octavia Camps

제출 2026-08-31

한국어 초록

스트리밍 비디오 이해는 지속적으로 늘어나는 시각 스트림 위에서 임의의 시점에 질문에 답해야 한다. 핵심 과제는 장기 이력을 압축적으로 기억하면서 질문과 관련된 근거를 효과적으로 검색하는 것이다. 우리는 Dynamic Hub-and-Spoke Memory(D-HSM)를 제안한다. 이는 먼 과거 이력을 구조화된 텍스트 메모리로 표현하고, 세밀한 지각을 위해 최근 프레임은 visual token으로 유지하는 추가 학습 없는 프레임워크이다. 구체적으로 D-HSM은 선택된 과거 비디오 청크를 유형이 부여된 텍스트 관측으로 바꾸어 엔터티를 허브(hub)로, 관련 근거를 스poke(spoke)로 두는 엔터티 중심 허브-앤-스poke 메모리에 저장한다. 질문에 답할 때 D-HSM은 질문에 맞춘(question-aware) 압축 메모리 부분집합을 동적으로 검색하고, 허브-앤-스poke 연결을 통해 확장한 뒤 최근 visual window와 결합하여 frozen-VLM으로 답을 예측한다. 스트리밍 및 장시간 비디오 벤치마크에 대한 광범위한 실험에서 D-HSM은 VLM 백본을 일관되고 크게 개선하며, 다른 최신(state-of-the-art) 온라인·오프라인 비디오 이해 베이스라인을 능가함을 보인다.

원문 초록

Streaming video understanding requires answering questions at arbitrary times over a continuously growing visual stream. The central challenge is to compactly remember long-range history while effectively retrieving question-relevant evidence. We propose Dynamic Hub-and-Spoke Memory (D-HSM), a training-free framework that represents distant history as structured textual memory while preserving the recent frames as visual tokens for fine-grained perception. Specifically, D-HSM turns selected historical video chunks into typed textual observations and stores them in an entity-centered hub-and-spoke memory, with entities as hubs and related evidence as spokes. When answering a question, D-HSM dynamically retrieves a compact question-aware memory subset, expands it through hub-and-spoke links, and combines it with the recent visual window for frozen-VLM answer prediction. Extensive experiments on both streaming and long video benchmarks show that D-HSM consistently and substantially improves VLM backbones and outperforms other state-of-the-art online and offline video understanding baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.30294v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.