arXiv:2608.03244v1 cs.AI

UniNav: 시각적 내비게이션을 위한 통합 월드-행동 확산 모델

UniNav: A Unified World-Action Diffusion Model for Visual Navigation

Changqing Zhou, Yueru Luo, Zeyu Jiang, Changhao Chen

제출 2026-08-04

한국어 초록

이미지 목표 기반 시각적 내비게이션(visual navigation)은 체화된 에이전트(embodied agent)의 핵심적인 능력입니다. 기존의 내비게이션 정책들은 경유지 궤적(waypoint trajectory)을 효율적으로 예측하지만 시각적 예측력(visual foresight)이 부족한 반면, 내비게이션 월드 모델은 미래의 관측을 예측할 수 있지만 종종 비용이 많이 드는 계획 롤아웃(planning rollout)을 필요로 합니다. 본 논문에서는 단일 확산(diffusion) 과정을 통해 미래의 시각적 관측과 연속적인 경유지 궤적을 동시에 생성하는 통합 월드-행동 모델인 UniNav를 제시합니다. 과거 프레임과 목표 이미지가 주어지면, UniNav는 단일 트랜스포머(transformer) 내에서 시각적 토큰과 경유지 토큰의 노이즈를 함께 제거(joint denoising)하여 공유된 프레임워크 안에서 미래 예측과 행동 생성을 통합합니다. 공간적 그라운딩(grounding)을 개선하기 위해 기하학 인지 카메라 토큰(geometry-aware camera token)을 통합합니다. 또한 궤적이 라벨링된 내비게이션 데이터와 비디오 전용 데이터를 모두 활용하여 학습함으로써, 모델이 경유지 주석이 없는 다양한 비디오의 이점을 누릴 수 있도록 합니다. 이 통합 프레임워크를 기반으로 두 가지 변형을 제안합니다. UniNav-Full은 해석 가능한 미래 관측과 이에 해당하는 궤적을 함께 예측하며, UniNav-Fast는 효율적인 궤적 예측을 위해 추론 시 미래 이미지 토큰을 제거합니다. 내비게이션 벤치마크 실험에 따르면, UniNav는 모든 데이터셋에 걸쳐 ATE에서 가장 강력한 베이스라인(baseline)을 능가합니다. 1단계 추론(one-step inference)을 통해 UniNav-Fast는 큰 정확도 저하 없이 0.1초의 지연 시간을 달성합니다. 코드는 공개될 예정입니다.

원문 초록

Image-goal visual navigation is a fundamental capability for embodied agents. Existing navigation policies efficiently predict waypoint trajectories but lack visual foresight, while navigation world models can anticipate future observations but often require costly planning rollouts. We present UniNav, a unified world-action model that generates future visual observations and continuous waypoint trajectories through a single diffusion process. Given history frames and a goal image, UniNav jointly denoises visual and waypoint tokens within a single transformer, unifying future prediction and action generation in a shared framework. To improve spatial grounding, we incorporate geometry-aware camera tokens. We also train on both trajectory-labeled navigation data and video-only data, enabling the model to benefit from diverse videos without waypoint annotations. Based on this unified framework, we introduce two variants: UniNav-Full jointly predicts interpretable future observations and their corresponding trajectories, while UniNav-Fast removes future-image tokens at inference for efficient trajectory prediction. Experiments on navigation benchmarks show that UniNav outperforms the strongest baseline in ATE across all datasets. With one-step inference, UniNav-Fast achieves a latency of 0.1s without a substantial accuracy drop. Code will be released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.03244v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.