arXiv:2611.22691v1 cs.RO

실제처럼 반응하는 세계 만들기: 자율주행을 위한 폐루프 상호작용 월드 모델

Making the World React Realistically: A Closed-Loop Interactive World Model for Autonomous Driving

Jia Hu, Yang Chang, Panqu Wang, Zhijun Fu, Chang Liu, Changjian Yu, Jintao Lai

제출 2026-11-18

한국어 초록

월드 모델(WM)은 기존 기록에 없는 주행 시나리오를 생성해 새로운 상호작용 조건에서 자율주행 시스템을 학습하고 평가할 수 있게 한다. 그러나 기존 월드 모델은 차량 사이의 상호작용과 자차가 보는 시각 관측의 관계를 고려하지 않는다. 이 때문에 행동의 사실성과 시각적 충실도를 함께 확보하기 어렵다. 행동 모델링과 시각 렌더링을 결합하는 폐루프 상호작용 월드 모델을 제안한다. 첫째, 모방학습으로 얻은 배경 차량(BV) 정책을 다중 에이전트 강화학습으로 미세조정한다. 렌더링된 영상에 반응하는 종단 간 자차 계획기와 폐루프를 구성해 배경 차량의 상호작용이 실제 기록과 맞도록 한다. 둘째, 상호작용으로 드러난 시점을 바탕으로 차량의 3D 가우시안 에셋을 가우시안마다 진단한다. 관측이 부족한 가우시안에서는 시점에 따른 색상 변화를 줄이고, 한 번도 관측되지 않은 표면은 새 가우시안으로 채운다. 관측한 외관은 보존한다. 셋째, 차량의 주행 의도에 따라 신호등화 장치를 렌더링한다. 신호 상태 분류기를 활용한 반사실적 미세조정으로 차량에서 관측되지 않았던 등화 상태를 학습하는 편집기를 사용한다. 드문 폐루프 시나리오에서 제안 방법은 최신 최고 성능 월드 모델보다 실제 상호작용 행동과의 발산을 85% 줄였으며, 새 시점의 차량 영상 PSNR을 2.0dB 높였다. 배경 차량의 주행 의도를 전달하는 신호등화가 전체 시나리오의 4분의 1에서 자차 주행에 간접적으로 영향을 줬다. 이는 월드 모델에서 배경 차량 신호등화가 중요함을 보여 준다.

원문 초록

World models (WMs) generate driving scenarios beyond recorded logs, enabling the training and evaluation of autonomous driving systems in unseen interactions. However, existing WMs struggle to ensure both behavioral realism and visual fidelity, since they overlook the relationship between vehicle interactions and the ego visual observations. We propose a closed-loop interactive WM that couples behavior modeling and visual rendering. First, imitation-learned background-vehicle (BV) policies are fine-tuned with multi-agent reinforcement learning in the closed loop against an end-to-end ego planner that reacts to the rendered images, so that their interaction behaviors match those in real logs. Second, the viewpoints exposed by these interactions guide a per-Gaussian diagnosis of each 3D Gaussian vehicle asset, which attenuates view-dependent colors on under-observed Gaussians and fills never-observed surfaces with generated Gaussians, while preserving the observed appearance. Third, signal lights are rendered according to the driving intentions of the vehicles, by an editor that learns the light states unobserved for a vehicle through counterfactual fine-tuning with a light-state classifier. On long-tail closed-loop scenarios, our method reduces the divergence from real-world interaction behaviors by 85% and improves novel-view vehicle PSNR by 2.0dB over the state-of-the-art WM. The significance of BV light signaling in WMs is shown, as the rendered signal lights conveying BV driving intentions indirectly impact ego driving behaviors in a quarter of the scenarios.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22691v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.