자율 이동 로봇을 위한 비전-언어 기반 의미론적 내비게이션
Vision-Language Grounded Semantic Navigation for Autonomous Mobile Robots
한국어 초록
언어 기반 내비게이션은 이동 로봇이 자연어 명령을 해석하여 비정형 환경에서 사용자가 지정한 목표로 이동하게 한다. 그러나 개방형 어휘 시각 인식을 지도 작성 및 내비게이션을 위한 고전적 로보틱스 파이프라인과 통합하는 것은 여전히 어려운 문제이다. 본 연구는 프런티어 기반 탐색, Grounding DINO를 이용한 개방형 어휘 객체 탐지, 깊이 기반 3D 위치 추정, 의미론적 지도 작성을 결합하여 시뮬레이션에서 종단간 비전-언어 기반 내비게이션을 구현하는 완전한 ROS2 기반 시스템을 제시한다. 이 시스템은 ``노란 상자로 가라''와 같은 자연어 명령을 받아 텍스트 프롬프트로 RGB 영상에서 후보 객체를 탐지하고, 세계 좌표계에서 그 위치를 추정하며, Nav2 스택이 실행하는 내비게이션 목표를 생성한다. TurtleBot3 로봇을 사용한 Gazebo 기반 실내 환경에서 이 시스템은 방을 자율적으로 탐색하여 다섯 개의 목표 객체 중 세 개를 탐지하였고, 시험한 두 자연어 내비게이션 명령을 과업별 학습 없이 모두 성공적으로 수행하였다. 결과는 개방형 어휘 grounding 모델을 고전적 내비게이션 파이프라인에 통합할 수 있음을 보여주지만, 성능은 탐지 불확실성, 깊이 기반 위치 추정 오차, 불완전한 탐색 범위로 제한된다. 이러한 결과는 경량 CPU 전용 아키텍처를 사용하여 비전-언어 기반 내비게이션 시스템을 배치하는 것의 실현 가능성과 현재의 한계를 모두 보여준다.
원문 초록
Language-guided navigation enables mobile robots to interpret natural language commands and navigate toward user-specified targets in unstructured environments. However, integrating open-vocabulary visual perception with classical robotics pipelines for mapping and navigation remains a challenging problem. In this work, we present a complete ROS2-based system that combines frontier-based exploration, open-vocabulary object detection using Grounding DINO, depth-based 3D localization, and semantic mapping to enable end-to-end vision-language grounded navigation in simulation. The system accepts natural language commands such as ``go to the yellow box,'' detects candidate objects from RGB images using text prompts, estimates their positions in the world frame, and generates navigation goals executed by the Nav2 stack. In a Gazebo-based indoor environment with a TurtleBot3 robot, the system autonomously explored the room, detected three of the five target objects, and successfully executed both natural language navigation commands tested, without task-specific training. The results indicate that open-vocabulary grounding models can be integrated into classical navigation pipelines, though performance is limited by detection uncertainty, depth-based localization error, and incomplete exploration coverage. These findings highlight both the feasibility and current limitations of deploying vision-language grounded navigation systems using lightweight, CPU-only architectures.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
7 pages, 4 figures