$A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models
원문 초록
We study the task of zero-shot vision-and-language navigation (ZS-VLN), a practical yet challenging problem in which an agent learns to navigate following a path described by language instructions without requiring any path-instruction annotation data. Normally, the instructions have complex grammatical structures and often contain various action descriptions (e.g., "proceed beyond", "depart from"). How to correctly understand and execute these action demands is a critical problem, and the absence of annotated data makes it even more challenging. Note that a well-educated human being can easily understand path instructions without the need for any special training. In this paper, we propose an action-aware zero-shot VLN method ($A^2$Nav) by exploiting the vision-and-language ability of foundation models. Specifically, the proposed method consists of an instruction parser and an action-aware navigation policy. The instruction parser utilizes the advanced reasoning ability of large language models (e.g., GPT-3) to decompose complex navigation instructions into a sequence of action-specific object navigation sub-tasks. Each sub-task requires the agent to localize the object and navigate to a specific goal position according to the associated action demand. To accomplish these sub-tasks, an action-aware navigation policy is learned from freely collected action-specific datasets that reveal distinct characteristics of each action demand. We use the learned navigation policy for executing sub-tasks sequentially to follow the navigation instruction. Extensive experiments show $A^2$Nav achieves promising ZS-VLN performance and even surpasses the supervised learning methods on R2R-Habitat and RxR-Habitat datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Navigation Framework Utilizing Vision-Language Models
DualMap: Online Open-Vocabulary Semantic Mapping for Natural Language Navigation in Dynamic Changing Scenes
Cross from Left to Right Brain: Adaptive Text Dreamer for Vision-and-Language Navigation
Dynam3D: Dynamic Layered 3D Tokens Empower VLM for Vision-and-Language Navigation
언어 사전분포에서 현장 적응까지: 주행 가능성 추정을 위한 선호도 학습
From Language Priors to Field Adaptation: Preference Learning for Traversability Estimation
이미지 기반 주행 가능성(traversability) 추정은 로봇 플랫폼, 배포 도메인, 임무 선호도에 본질적으로 의존하므로, 특정 목적에 맞춰 학습된 모델의 적용 가능성을 제한합니다. 도메인 적응을 용이하게 하기 위해, 본 연구는 샘플 효율적인 선호도 학습을 사용하여 타깃 도메인에서 필요한 어노테이션 수를 줄이는 것을 목표로 합니다. 제안하는 방법은 동결된 비전-언어(vision-language) 특징(feature) 공간에서 폰 미제스-피셔(von Mises-Fisher) 혼합 프로토타입을 통해 주행 가능성을 표현합니다. 상대적 자연어 규칙은 상식적 사전분포(commonsense prior)를 제공하는 한편, 희소한 상대적 이미지 어노테이션은 계산 및 샘플 효율적인 미세조정(fine-tuning)을 통해 프로토타입의 방향과 효용을 타깃 도메인에 적응시킵니다. WayFAST에서의 실험은 샘플 효율적인 이미지 기반 적응을 가능하게 하면서도 엔드투엔드(end-to-end)로 학습된 추정기와 대등한 정확도를 보임을 입증합니다. 정성적 실험은 언어 사전분포의 제로샷(zero-shot) 적용 가능성과 미세조정된 추정기가 시맨틱 맵에서 향상된 조밀 예측(dense prediction)을 수행함을 추가로 보여줍니다. 또한 의미상 가까운 자연어 프롬프트를 분석하여 학습된 프로토타입의 의미론적 해석을 통해 평가를 보완합니다. 코드와 학습된 추정기는 https://resireg.github.io 에서 확인할 수 있습니다.
UrbanVLA: 도시 마이크로모빌리티를 위한 비전-언어-행동 모델
UrbanVLA: A Vision-Language-Action Model for Urban Micromobility
배달 로봇과 같은 도시 마이크로모빌리티 애플리케이션은 장기적인(long-horizon) 경로 지침을 따르면서 대규모 도시 환경 전반에서 신뢰할 수 있는 내비게이션을 요구합니다. 이 과제는 실제 도시 지역의 동적이고 비정형적인 특성으로 인해 특히 어렵지만, 기존 내비게이션 방법의 대부분은 소규모의 통제 가능한 시나리오에 맞춰져 있습니다. 효과적인 도시 마이크로모빌리티를 위해서는 상호 보완적인 두 가지 수준의 내비게이션 기술이 필요합니다. 목표점 도달(point-goal reaching) 및 장애물 회피와 같은 저수준 역량과, 경로-시각 정렬(route-visual alignment)과 같은 고수준 역량입니다. 이를 위해 우리는 확장 가능한 도시 내비게이션을 위해 설계된 경로 조건부 비전-언어-행동(Vision-Language-Action, VLA) 프레임워크인 UrbanVLA를 제안합니다. 우리의 방법은 실행 중에 노이즈가 포함된 경로 경유점(waypoints)을 시각적 관측과 명시적으로 정렬하고, 이후 로봇을 주행시키기 위한 궤적을 계획합니다. UrbanVLA가 두 수준의 내비게이션을 모두 습득할 수 있도록 2단계 학습 파이프라인을 사용합니다. 이 과정은 시뮬레이션 환경과 웹 비디오에서 파싱한 궤적을 사용하는 지도 미세조정(SFT)으로 시작됩니다. 이어서 시뮬레이션 및 실제 데이터의 혼합을 통한 강화 미세조정(RFT)이 진행되며, 이는 실제 환경에서 모델의 안전성과 적응성을 향상시킵니다. 실험에 따르면 UrbanVLA는 MetaUrban의 SocialNav 과제에서 강력한 베이스라인을 55% 이상 능가하는 것으로 나타났습니다. 나아가 UrbanVLA는 신뢰할 수 있는 실제 환경 내비게이션을 달성하여, 대규모 도시 환경에 대한 확장성과 현실 세계의 불확실성에 대한 견고성을 모두 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.