예측 후 검색: 비디오 접두 문맥으로부터 인스턴스 간 미래 상태 검색
Predict, Then Retrieve: Cross-Instance Future-State Retrieval from Video Prefixes
한국어 초록
본 논문에서는 모델이 짧은 비디오 접두 문맥(prefix)과 객체의 미래 상태에 대한 시간적 질문을 관찰한 후, 해당 상태를 묘사하는 다른 비디오나 이미지의 인스턴스를 검색하는 태스크인 예측 상태 검색(Predictive State Retrieval, PSR)을 소개합니다. 레이블을 예측하는 행동 예측(action anticipation), 비디오 내에서 관찰된 이벤트를 위치화하는 모먼트 검색(moment retrieval), 또는 픽셀을 합성하는 비디오 생성과 달리, PSR은 예측과 여러 시간적 범위(horizon)에 걸친 인스턴스 간 검색을 결합합니다. 우리는 정밀하게 인간 검증을 거친 정답 데이터, 난이도 계층, 그리고 오라클 상한선을 갖춘 4개의 데이터셋으로 벤치마크를 구축했습니다. 또한 동결된 인코더를 활용하여 질문 및 시간 범위에 조건화된 미래 잠재 변수를 예측하고 이를 상호 보완적인 의미적 및 시각적 공간에서 매칭하는 경량 리트리버인 LFTR을 제안합니다. 상한선 분석을 통해 명확한 병목 현상이 드러났습니다. 실제 미래 상태는 구체화되기만 하면 검색 성능이 매우 높은 반면, 접두 문맥 프레임에 접근할 수 있는 대규모 멀티모달 언어 모델을 포함하여 우리가 평가한 모든 예측 모델은 오라클 수준에 크게 못 미쳤습니다. 따라서 지각보다는 예측이 학습의 핵심 과제임을 확인했습니다. LFTR은 실질적으로 훨씬 낮은 추론 비용으로 이러한 격차를 좁히며, 제거 연구(ablation)를 통해 이러한 성능 향상이 잠재 롤아웃(latent rollout)보다는 공간 간 융합과 하드 네거티브 학습 덕분임을 입증합니다. 우리는 벤치마크, 코드, 평가 스크립트를 공개합니다.
원문 초록
We introduce Predictive State Retrieval (PSR), a task in which a model observes a short video prefix and a temporal question about an object's future state, then retrieves instances from other videos or images that depict that state. Unlike action anticipation, which predicts a label, moment retrieval, which localizes an observed event within a video, or video generation, which synthesizes pixels, PSR combines anticipation with cross-instance retrieval across multiple temporal horizons. We construct a benchmark from four datasets with graded, human-validated ground truth, difficulty tiers, and an oracle ceiling. We also propose LFTR, a lightweight retriever with frozen encoders that predicts a question- and horizon-conditioned future latent and matches it in complementary semantic and visual spaces. A ceiling decomposition reveals a clear bottleneck: the true future state is highly retrievable once specified, whereas every predictor we evaluate, including a large multimodal language model with access to the prefix frames, remains far below the oracle. Thus, forecasting rather than perception is the central learnable challenge. LFTR narrows this gap at substantially lower inference cost, and ablations attribute its gains to cross-space fusion and hard-negative training rather than latent rollout. We release the benchmark, code, and evaluation scripts.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.04426v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.