희소 비디오 생성이 실세계 시야 너머 시각-언어 내비게이션을 이끈다
Sparse Video Generation Propels Real-World Beyond-the-View Vision-Language Navigation
한국어 초록
시각-언어 내비게이션은 왜 상세하고 장황한 언어 지시에 묶여야 하는가? 이러한 세부 사항은 의사결정을 쉽게 해 주지만, 실세계에서의 내비게이션 목표와는 근본적으로 상충한다. 이상적으로 에이전트는 단순하고 상위 수준의 의도만으로 미지의 환경을 탐색하는 자율성을 갖추어야 한다. 이를 실현하는 데에는 에이전트가 조밀한 단계별 안내 없이 멀리 있고 보이지 않는 목표를 찾아야 하는 시야 너머 내비게이션(BVN)이라는 어려운 과제가 따른다. 기존의 대규모 언어 모델(LLM) 기반 방법은 조밀한 지시를 따르는 데는 능숙하지만, 단기 지평 지도에 의존하기 때문에 근시안적 행동을 보이는 경우가 많다. 그렇다고 지도 지평을 단순히 늘리면 LLM 학습이 불안정해진다. 본 연구는 비디오 생성 모델이 언어 지시에 정렬하기 위해 장기 지평 지도의 이점을 본질적으로 얻는다는 점을 확인하였고, 이로 인해 BVN 과제에 특히 적합하다고 본다. 이러한 통찰을 바탕으로 이 분야에 비디오 생성 모델을 처음으로 도입할 것을 제안한다. 그러나 수십 초 분량의 비디오를 생성하는 데 따르는 과도한 지연 시간은 실세계 배치를 비현실적으로 만든다. 이 간극을 메우기 위해, 20초 지평에 걸친 생성된 희소 미래로 유도되어 1초 미만의 궤적 추론을 달성하는 SparseVideoNav를 제안한다. 이는 최적화되지 않은 대응 모델 대비 27배의 속도 향상을 가져온다. 광범위한 실세계 제로샷 실험을 통해 SparseVideoNav가 BVN 과제에서 최신 LLM 기반 기준선 대비 2.5배의 성공률을 달성하며, 까다로운 야간 장면에서 이러한 능력을 처음으로 실현했음을 확인하였다.
원문 초록
Why must vision-language navigation be bound to detailed and verbose language instructions? While such details ease decision-making, they fundamentally contradict the goal for navigation in the real-world. Ideally, agents should possess the autonomy to navigate in unknown environments guided solely by simple and high-level intents. Realizing this ambition introduces a formidable challenge: Beyond-the-View Navigation (BVN), where agents must locate distant, unseen targets without dense and step-by-step guidance. Existing large language model (LLM)-based methods, though adept at following dense instructions, often suffer from short-sighted behaviors due to their reliance on short-horimzon supervision. Simply extending the supervision horizon, however, destabilizes LLM training. In this work, we identify that video generation models inherently benefit from long-horizon supervision to align with language instructions, rendering them uniquely suitable for BVN tasks. Capitalizing on this insight, we propose introducing the video generation model into this field for the first time. Yet, the prohibitive latency for generating videos spanning tens of seconds makes real-world deployment impractical. To bridge this gap, we propose SparseVideoNav, achieving sub-second trajectory inference guided by a generated sparse future spanning a 20-second horizon. This yields a remarkable 27x speed-up compared to the unoptimized counterpart. Extensive real-world zero-shot experiments demonstrate that SparseVideoNav achieves 2.5x the success rate of state-of-the-art LLM baselines on BVN tasks and marks the first realization of such capability in challenging night scenes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.05827v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.