RAVEN: Long-Horizon Reasoning & Navigation with a Visuo-Spatio-Temporal Memory
원문 초록
Long-term robot deployment requires a compact and scalable memory that preserves fine-grained visual semantics, grounds observations in space and time, and enables efficient storage and retrieval. In this paper, we propose RAVEN, an agentic memory system for long-horizon robotic question answering and navigation. RAVEN stores visual embeddings with pose and time in a vector database, and grounds retrieval in a spatial map to answer queries and navigate to goals. By operating directly on visual embeddings, RAVEN avoids lossy image-to-text captioning and enables accurate semantic, spatial, and temporal retrieval at scale. Across several simulated and real-world video question-answering benchmarks, RAVEN consistently surpasses caption-based memory systems and matches frontier VLMs on long-horizon tasks at 10$\times$ lower retrieval cost. Finally, we instantiate RAVEN on a Unitree Go1 robot for the task of long-horizon navigation for natural language goal-reaching, and show successful deployment over several large indoor environments.
요약
RAVEN은 로봇의 시각 임베딩(embedding)을 자세·시간 정보와 함께 벡터 DB에 저장하고 공간 지도에 그라운딩(grounding)해, 캡션 기반 메모리의 정보 손실 없이 장기 질의응답과 목표 지점 탐색을 수행하는 에이전트(agent)형 메모리 시스템이다. 시뮬레이션·실세계 비디오 QA 벤치마크에서 캡션 기반 방식을 일관되게 능가하고, 검색 비용을 10배 낮추면서도 장기 추론 과제에서 최신 VLM 수준에 근접하며, Unitree Go1에서 자연어 목표 장기 내비게이션 배포에도 성공했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.25206v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.