arXiv:2611.22880v1 cs.CV

자율주행을 위한 에이전트 중심 비전-언어-행동 월드 모델 학습

Learning Agent-Centric Vision-Language-Action World Models for Autonomous Driving

Guoqing Wang, Pin Tang, Xiangxuan Ren, Chao Ma

제출 2026-11-18

한국어 초록

비전-언어-행동(VLA) 모델과 월드 모델링을 결합하는 최근 연구는 자율주행 시스템이 현재 관측에 반응하는 데서 나아가 가능한 미래를 상상하고 추론할 수 있게 해 종단 간 자율주행을 크게 발전시켰다. 그러나 대부분의 VLA 월드 모델은 많은 조밀한 시각 토큰으로 미래 프레임을 픽셀 수준에서 생성한다. 생성한 미래가 시각적으로 그럴듯해도 주행과 무관한 외관 세부를 많이 포함한다. 에이전트의 기하 구조, 움직임의 동역학, 상호작용 등 계획에 중요한 요소를 직접 인코딩하는 토큰은 일부에 불과하다. 이는 중요한 성능 병목이다. 그렇다면 픽셀 수준 예측을 넘어 계획을 지원하려면 VLA 월드 모델이 어떤 월드 상태를 대상으로 추론해야 하는가? 계획을 위한 월드 모델링은 주행 장면의 객체들이 시간에 따라 어떻게 상호작용하는지 포착하는 간결하고 구조화된 에이전트 중심 잠재 상태에 초점을 맞춰야 한다고 본다. 이에 이산 에이전트 토큰을 추론과 궤적 계획에 함께 사용하는 에이전트 중심 VLA 월드 모델 AgentWorld를 소개한다. 각 토큰은 주변 에이전트 하나에 동적으로 연결되며 의미적 정체성, 3D 기하 구조, 움직임, 상호작용 문맥 등 해당 객체의 상태를 반영한다. AgentWorld는 명시적인 기하 근거 연결, 추론 중심 지도 미세조정, 에이전트 중심 강화학습이라는 세 과정을 통해 토큰을 학습한다. 여러 주행 시나리오의 개루프 및 폐루프 실험에서 AgentWorld는 계획 능력을 높이고 시각적 근거와 에이전트 동역학을 충분히 활용했으며 해석 가능한 에이전트 중심 월드 상태를 생성했다.

원문 초록

Recent progress in integrating vision-language-action (VLA) models with world modeling has significantly advanced end-to-end autonomous driving by allowing systems to reason about imagined futures instead of merely reacting to current observations. However, most world VLA models generate future frames at the pixel level with plenty of dense visual tokens. Although such generated futures can be visually plausible, they preserve many driving-irrelevant appearance details, i.e., only a small portion of the tokens directly encode critical planning-relevant factors, such as agent geometry, motion dynamics, and interactions. This introduces a significant performance bottleneck. An important question thus arises: what world state should a world VLA model reason over to support planning beyond pixel-level prediction? We argue that planning-oriented world modeling should focus on a compact and structured agent-centric latent state that captures the interactions between objects in the driving scene over time. As such, we introduce AgentWorld, an agent-centric VLA world model that uses discrete agent tokens jointly for reasoning and trajectory planning. Each token is dynamically grounded to a surrounding agent associated with its object's state, such as semantic identity, 3D geometry, motion, and interaction context. AgentWorld learns these tokens through three key processes: explicit geometric grounding, reasoning-oriented supervised fine-tuning, and agent-oriented reinforcement learning. Extensive open-loop and closed-loop experiments under diverse driving scenarios show that AgentWorld enhances planning capabilities, fully exploits visual evidence and agent dynamics, and yields interpretable agent-centric world states.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22880v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.