arXiv:2402.15852

NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation

Jiazhao Zhang, Kunyu Wang, Rongtao Xu, Gengze Zhou, Yicong Hong, Xiaomeng Fang, Qi Wu, Zhizheng Zhang, He Wang

제출 2024-02-24

원문 초록

Vision-and-language navigation (VLN) stands as a key research problem of Embodied AI, aiming at enabling agents to navigate in unseen environments following linguistic instructions. In this field, generalization is a long-standing challenge, either to out-of-distribution scenes or from Sim to Real. In this paper, we propose NaVid, a video-based large vision language model (VLM), to mitigate such a generalization gap. NaVid makes the first endeavor to showcase the capability of VLMs to achieve state-of-the-art level navigation performance without any maps, odometers, or depth inputs. Following human instruction, NaVid only requires an on-the-fly video stream from a monocular RGB camera equipped on the robot to output the next-step action. Our formulation mimics how humans navigate and naturally gets rid of the problems introduced by odometer noises, and the Sim2Real gaps from map or depth inputs. Moreover, our video-based approach can effectively encode the historical observations of robots as spatio-temporal contexts for decision making and instruction following. We train NaVid with 510k navigation samples collected from continuous environments, including action-planning and instruction-reasoning samples, along with 763k large-scale web data. Extensive experiments show that NaVid achieves state-of-the-art performance in simulation environments and the real world, demonstrating superior cross-dataset and Sim2Real transfer. We thus believe our proposed VLM approach plans the next step for not only the navigation agents but also this research field.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27770v1cs.CL공통 태그 Decision Making, Navigate, Instruction Following

필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상

Improving LLM-based Autonomous Web Agents with Filtering

대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.

arXiv:2609.28247v1cs.RO공통 태그 Decision Making, Navigate, Instruction Following

공간 트랜스포머로 추론 공간에서 AI 에이전트 집합체 제어

Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers

대규모 언어 모델(LLM)은 로보틱스에서 계획 및 내비게이션을 위한 흥미로운 새로운 패러다임을 제시하지만, 팀 규모가 커질수록 단순한 다로봇 과제에서도 실패한다. 본 논문은 추론 공간 피드백 제어로 대규모 에이전트형 로봇 집합체를 제어하기 위한 확장 가능하고 분산형 다로봇 아키텍처인 COMPASS를 제안한다. 피드백은 각 로봇에서 로컬로 생성되며, 공간 트랜스포머가 함대 전체의 다중 홉(multi-hop) 메시지를 집계하여 학습된 피드백 토큰으로 만든다. 실험 결과, 언어 모델 집합체는 입력 명령의 구조화된 다양성으로 성능 향상을 보이며, 이는 편향을 상쇄할 수 있다. 이 이점은 규모 전반에 걸쳐 유지된다. 중앙집중형 최신 LLM 정책 및 언어만 사용하는 통신 ablation과 비교했을 때, COMPASS의 결합 설계는 명령된 의도를 정확히 수행하는 응집력 있는 flocking formation을 결정적으로 생성함을 확인했다. 추론 피드백은 컴팩트한 학습된 토큰과 결합할 때 가장 잘 작동함을 보인다. ablation 실험은 원시 상태가 언어 채널에 나타나는 수작업 피드백이 응집력을 파괴함을 보여준다. COMPASS는 모호한 의미의 보지 못한 지시에 제로샷으로 일반화하며, 학습 규모의 최대 16배까지의 군집을 지휘하고, 자연어 명령 하에 최대 1024대의 로봇을 비행시킨다.

arXiv:2609.24526v1cs.CV공통 태그 Decision Making, Navigate, Instruction Following

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

arXiv:2610.15782v1cs.CV공통 태그 Navigate, Instruction Following

정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선

Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.

arXiv:2609.26758v3cs.AI공통 태그 Decision Making, Instruction Following

타입 안전성이 오류 없음을 보장하지는 않는다: 타입 기반 의사결정 모델은 바인딩된 정의가 아닌 선택지 이름을 따른다

Type-Safe Is Not Error-Free: Typed Decision Models Follow the Option Name, Not the Definition Bound to It

타입 기반 의사결정 모델(typed decision models)은 구조화된 결과를 반환하지만, 출력 타입의 정확성만으로는 의사결정이 명시적인 선택지 정의를 따르도록 보장하지 못합니다. 각 선택지는 이름과 의도된 의미를 규정하는 정의를 쌍으로 구성하지만, 이름 자체가 경쟁적인 의미적 단서(semantic cue)를 제공할 수 있습니다. 본 연구에서는 질문, 상태, 그리고 이름 및 정의 텍스트 자체는 그대로 유지한 채 이름-정의 매핑만을 변경하여 Jev 및 두 가지 공개 가중치(open-weight) 모델에서 이러한 충돌을 조사합니다. 우리는 반환된 이름이 아닌 선택된 정의 수준에서 의사결정 번복(decision flip)을 측정합니다. 작업별 정의가 포함된 1,200개의 의사결정 작업에서, yes/no 이름 사용 시 의사결정 번복률은 0/1 대조군에 비해 최대 70.4%p 더 높게 나타났습니다. 이러한 격차는 4가지 이진 의사결정 규칙 모두에서 일관되게 유지됩니다. yes/no 이름의 경우 재할당 시 평균 AUC 또한 93.8%에서 무작위 확률 이하인 23.2%로 감소합니다. 이진 평가에서 선택지 이름으로 무작위 문자열을 사용했을 때 세 모델 모두에서 중립적 대조군에 근접한 평균 번복률을 보였으며, 재할당 이전의 균형 정확도도 유사한 수준을 유지했습니다. 종합적으로 이러한 결과는 단순한 재할당 외에도 선택지 이름의 극성(polarity)이 의사결정 불안정성을 유발하는 요인임을 뒷받침합니다. 전체 과정에서 타입 오류율(type-error rate)은 0%를 유지하며, 이는 타입이 정확한 출력이라 할지라도 명시적인 선택지 정의를 따르는 데 실패할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.