arXiv:2611.20558v1 cs.RO

자율 이동 로봇을 위한 비전-언어 기반 의미론적 내비게이션

Vision-Language Grounded Semantic Navigation for Autonomous Mobile Robots

Ravindran Vasoor Saravanan, Chittin Varunav Ravi, Madhumita Singh, Thirulok Sundar Mohan Rasu

제출 2026-11-16

저자 비고

arXiv Comments

7 pages, 4 figures

한국어 초록

언어 기반 내비게이션은 이동 로봇이 자연어 명령을 해석하여 비정형 환경에서 사용자가 지정한 목표로 이동하게 한다. 그러나 개방형 어휘 시각 인식을 지도 작성 및 내비게이션을 위한 고전적 로보틱스 파이프라인과 통합하는 것은 여전히 어려운 문제이다. 본 연구는 프런티어 기반 탐색, Grounding DINO를 이용한 개방형 어휘 객체 탐지, 깊이 기반 3D 위치 추정, 의미론적 지도 작성을 결합하여 시뮬레이션에서 종단간 비전-언어 기반 내비게이션을 구현하는 완전한 ROS2 기반 시스템을 제시한다. 이 시스템은 ``노란 상자로 가라''와 같은 자연어 명령을 받아 텍스트 프롬프트로 RGB 영상에서 후보 객체를 탐지하고, 세계 좌표계에서 그 위치를 추정하며, Nav2 스택이 실행하는 내비게이션 목표를 생성한다. TurtleBot3 로봇을 사용한 Gazebo 기반 실내 환경에서 이 시스템은 방을 자율적으로 탐색하여 다섯 개의 목표 객체 중 세 개를 탐지하였고, 시험한 두 자연어 내비게이션 명령을 과업별 학습 없이 모두 성공적으로 수행하였다. 결과는 개방형 어휘 grounding 모델을 고전적 내비게이션 파이프라인에 통합할 수 있음을 보여주지만, 성능은 탐지 불확실성, 깊이 기반 위치 추정 오차, 불완전한 탐색 범위로 제한된다. 이러한 결과는 경량 CPU 전용 아키텍처를 사용하여 비전-언어 기반 내비게이션 시스템을 배치하는 것의 실현 가능성과 현재의 한계를 모두 보여준다.

원문 초록

Language-guided navigation enables mobile robots to interpret natural language commands and navigate toward user-specified targets in unstructured environments. However, integrating open-vocabulary visual perception with classical robotics pipelines for mapping and navigation remains a challenging problem. In this work, we present a complete ROS2-based system that combines frontier-based exploration, open-vocabulary object detection using Grounding DINO, depth-based 3D localization, and semantic mapping to enable end-to-end vision-language grounded navigation in simulation. The system accepts natural language commands such as ``go to the yellow box,'' detects candidate objects from RGB images using text prompts, estimates their positions in the world frame, and generates navigation goals executed by the Nav2 stack. In a Gazebo-based indoor environment with a TurtleBot3 robot, the system autonomously explored the room, detected three of the five target objects, and successfully executed both natural language navigation commands tested, without task-specific training. The results indicate that open-vocabulary grounding models can be integrated into classical navigation pipelines, though performance is limited by detection uncertainty, depth-based localization error, and incomplete exploration coverage. These findings highlight both the feasibility and current limitations of deploying vision-language grounded navigation systems using lightweight, CPU-only architectures.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20558v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.