VGGT-VLA-World: 자율주행을 위한 의도 조건부 3D 세계 진화
VGGT-VLA-World: Intent-Conditioned 3D World Evolution for Autonomous Driving
한국어 초록
VGGT는 시각 관측으로부터 통합된 3D 장면 기하를 복원함으로써 기하 중심 세계 모델을 위한 강력한 기반을 제공한다. 최근의 확장 연구들은 시간적 3D 예측을 가능하게 하지만, 이들의 미래 진화는 주행 의도와 행동에 대한 조건화가 여전히 약하여 행동에 따라 달라지는 대안적 미래를 모델링하는 능력이 제한된다. 본 논문은 자율주행에서 제어 가능한 3D 세계 진화를 위해 VGGT-World를 의도 조건부로 확장한 \textbf{VGGTWorld-VLA}를 제안한다. 첫째, 상호 보완적인 주행 의미와 자차 운동 표현을 미래 토큰 스트림에 주입하는 행동-의미 조건화 메커니즘을 도입하여, 동일한 관측 장면에 대해 서로 다른 자차 행동에 따라 상이한 미래 기하를 예측할 수 있도록 한다. 둘째, 과거 기하, VLA 의미 특징, 기동 및 궤적 표현을 미래 기하 예측의 공동 조건화에 맞게 조정하는 기하-언어-행동 브리지를 개발한다. 미래 기하 예측을 NAVSIM에서 평가하고, 의미 조건화와 행동 조건화의 기여를 살펴보는 절제 연구를 수행한다. 기준 모델과 비교하여 본 방법은 NAVSIM 움직임 부분집합에서 미래 깊이 RMSE를 13.7% 감소시키고 $\delta_1$을 4.11%p 향상시킨다. 통제된 행동 입력 개입 실험은 모델이 제공된 행동 정보를 실제로 활용함을 추가로 보여 준다. 이러한 결과는 자율주행에서 제어 가능한 VGGT 기반 세계 예측을 위한 의미 및 행동 조건화를 뒷받침한다.
원문 초록
VGGT provides a strong foundation for geometry-centric world models by recovering unified 3D scene geometry from visual observations. Although recent extensions enable temporal 3D prediction, their future evolution remains weakly conditioned on driving intentions and actions, limiting their ability to model alternative action-dependent futures. We propose \textbf{VGGTWorld-VLA}, an intention-conditioned extension of VGGT-World for controllable 3D world evolution in autonomous driving. First, we introduce an action--semantic conditioning mechanism that injects complementary driving semantics and ego-motion representations into the future-token stream, enabling different future geometry predictions for the same observed scene under alternative ego actions. Second, we develop a geometry--language--action bridge that adapts historical geometry, VLA semantic features, and maneuver and trajectory representations for joint conditioning of future geometry prediction. We evaluate future geometry prediction on NAVSIM, with ablation studies examining the contributions of semantic and action conditioning. Compared with baseline, our method reduces future-depth RMSE by 13.7\% and improves $\delta_1$ by 4.11 percentage points on NAVSIM motion subset. Controlled action-input interventions further show that the model uses the supplied action information. These results support semantic and action conditioning for controllable VGGT-based world prediction in autonomous driving.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.11161v2제출 시각 미확인
- arXiv:2610.11161v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
20 pages, 9 figures