스트리밍 비디오 이해를 위한 동적 허브-앤-스poke 메모리
Dynamic Hub-and-Spoke Memory for Streaming Video Understanding
한국어 초록
스트리밍 비디오 이해는 지속적으로 늘어나는 시각 스트림 위에서 임의의 시점에 질문에 답해야 한다. 핵심 과제는 장기 이력을 압축적으로 기억하면서 질문과 관련된 근거를 효과적으로 검색하는 것이다. 우리는 Dynamic Hub-and-Spoke Memory(D-HSM)를 제안한다. 이는 먼 과거 이력을 구조화된 텍스트 메모리로 표현하고, 세밀한 지각을 위해 최근 프레임은 visual token으로 유지하는 추가 학습 없는 프레임워크이다. 구체적으로 D-HSM은 선택된 과거 비디오 청크를 유형이 부여된 텍스트 관측으로 바꾸어 엔터티를 허브(hub)로, 관련 근거를 스poke(spoke)로 두는 엔터티 중심 허브-앤-스poke 메모리에 저장한다. 질문에 답할 때 D-HSM은 질문에 맞춘(question-aware) 압축 메모리 부분집합을 동적으로 검색하고, 허브-앤-스poke 연결을 통해 확장한 뒤 최근 visual window와 결합하여 frozen-VLM으로 답을 예측한다. 스트리밍 및 장시간 비디오 벤치마크에 대한 광범위한 실험에서 D-HSM은 VLM 백본을 일관되고 크게 개선하며, 다른 최신(state-of-the-art) 온라인·오프라인 비디오 이해 베이스라인을 능가함을 보인다.
원문 초록
Streaming video understanding requires answering questions at arbitrary times over a continuously growing visual stream. The central challenge is to compactly remember long-range history while effectively retrieving question-relevant evidence. We propose Dynamic Hub-and-Spoke Memory (D-HSM), a training-free framework that represents distant history as structured textual memory while preserving the recent frames as visual tokens for fine-grained perception. Specifically, D-HSM turns selected historical video chunks into typed textual observations and stores them in an entity-centered hub-and-spoke memory, with entities as hubs and related evidence as spokes. When answering a question, D-HSM dynamically retrieves a compact question-aware memory subset, expands it through hub-and-spoke links, and combines it with the recent visual window for frozen-VLM answer prediction. Extensive experiments on both streaming and long video benchmarks show that D-HSM consistently and substantially improves VLM backbones and outperforms other state-of-the-art online and offline video understanding baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.30294v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.