복잡한 환경에서 공중 로봇을 위한 계층적 온보드 비전-언어-내비게이션 프레임워크
A Hierarchical Onboard Vision-Language-Navigation Framework for Aerial Robots in Complex Environments
한국어 초록
무인 항공기(UAV)는 엄격한 온보드 제약 아래에서 의미론적 추론, 지능적 의사결정, 장기 내비게이션을 달성할 것으로 기대된다. 최근 파운데이션 모델 기반 접근법이 이 목표를 향해 유망한 진전을 보였으나, 기존 방법은 복잡한 환경에서 3D 데이터 확보, 궤적 실현 가능성, 장기 추론, 계산 효율성 측면의 과제로 인해 여전히 한계가 있다. 이러한 격차를 해소하기 위해 우리는 공중 로봇을 위한 계층적 비전-언어-내비게이션(VLN) 프레임워크인 VLN-AR을 제안한다. VLN-AR은 멀티모달 추론과 저수준 제어를 분리하여, 3D 자세 명령과 내비게이션 의도를 구조적으로 예측하고 이를 동역학적으로 실현 가능한 행동으로 변환한다. 데이터 부족과 도메인 격차를 완화하기 위해, 확장 가능한 사실적 UAV 내비게이션 데이터를 생성하는 완전 자동화된 3D 가우시안 스플래팅(3DGS) 기반 파이프라인을 도입한다. 점진적 3단계 학습 전략은 그라운딩, 장면 추론, 복잡한 내비게이션 능력을 더욱 향상시킨다. 아울러 경량 인지 에이전트가 메모리 인식 작업 분해를 통해 장기 추론을 개선한다. 마지막으로 토큰 희소화와 모델 경량화를 포함한 온보드 최적화 기법을 설계하여, 자원이 제한된 UAV 플랫폼에서 높은 내비게이션 성능을 유지하면서 7.1배~9.4배의 속도 향상을 달성한다. 실험 결과 시뮬레이션과 실제 UAV 내비게이션 모두에서 기존 방법 대비 큰 향상을 보인다. 프로젝트 웹사이트: https://wyz000.github.io/VLN-AR/
원문 초록
Unmanned Aerial Vehicles (UAVs) are expected to achieve semantic reasoning, intelligent decision-making, and long-horizon navigation under strict onboard constraints. While recent foundation-model-driven approaches have shown promising progress toward this goal, existing methods remain limited by challenges in 3D data availability, trajectory feasibility, long-horizon reasoning, and computational efficiency in complex environments. To bridge these gaps, we propose VLN-AR, a hierarchical vision-language-navigation (VLN) framework for aerial robots. VLN-AR decouples multimodal reasoning and low-level control, enabling structured prediction of 3D pose commands and navigation intentions that are translated into dynamically feasible actions. To mitigate data scarcity and domain gaps, we introduce a fully automated 3D Gaussian Splatting (3DGS)-based pipeline to generate scalable photorealistic UAV navigation data. A progressive three-stage training strategy further enhances grounding, scene reasoning, and complex navigation. In addition, a lightweight cognitive agent improves long-horizon reasoning via memory-aware task decomposition. Finally, we design onboard optimization techniques, including token sparsification and model lightweighting, achieving 7.1x-9.4x speedup while maintaining high navigation performance on resource-limited UAV platforms. Experiments show great improvements over existing methods in both simulation and real-world UAV navigation. Project website: https://wyz000.github.io/VLN-AR/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23930v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.