NVIDIA OmniDreams: 폐루프 자율주행 차량 시뮬레이션을 위한 실시간 생성형 월드 모델
NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation
자율주행 차량의 능력이 발전함에 따라, 롱테일 시나리오에서 주행 정책의 안전한 평가는 여전히 핵심 병목으로 남아 있다. 폐루프(closed-loop) 시뮬레이션에서는 주행 정책 모델이 환경과 능동적으로 상호작용하며, 그 행동이 시뮬레이터 상태를 동적으로 갱신하고 다음에 생성되는 센서 관측값에 직접 영향을 미친다. 최근의 재구성(reconstruction) 기반 신경망 시뮬레이터는 사실적인 시각 품질(photorealism)을 제공하지만, 근본적으로 초기 캡처 데이터에 제약받으며 고도로 동적인 장면이나 새로운 장면으로의 일반화에 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 OmniDreams를 제안한다. OmniDreams는 Cosmos 확산(diffusion) 모델로부터 중간 학습 및 사후 학습된 기반 생성형 월드 모델로, 실시간으로 행동 조건부(action-conditioned) 영상을 자기회귀(autoregressively)적으로 생성한다. Cosmos의 풍부한 시각적 사전 지식(prior)을 활용하고 2만 1천 시간의 주행 시나리오에 대한 중간 학습 및 사후 학습을 통해, OmniDreams는 극한 기상 조건이나 예측 불가능한 동적 에이전트 행동과 같이 기존 시뮬레이터가 포착하기 어려운 복잡하고 관측되지 않은 현상을 합성한다. 중요하게도, OmniDreams는 과거 프레임, 현재 시뮬레이터 상태, 그리고 즉각적인 주행 행동에 조건을 걸어 사실적인 센서 데이터 생성을 자기회귀적으로 수행한다. Alpamayo 1 정책 모델과 AlpaSim 오케스트레이터와 함께 폐루프 시스템에 배치되었을 때, OmniDreams는 고도로 반응적인 환경으로 작동하며, 차세대 자율주행 정책의 학습과 평가를 위한 확장 가능하고 포괄적인 솔루션을 제공한다. 또한 OmniDreams로부터 사후 학습된 월드-행동 모델(WAM)이 Physical AI Autonomous Vehicles NuRec 데이터셋에서 강력한 성능을 달성하며, 총 파라미터 수의 1/5만 사용하면서 VLA 기반 Alpamayo 1.5 연구용 정책 모델을 능가한다는 예비 결과를 제시한다. 이 결과는 OmniDreams와 같은 실시간 월드 모델이 정책 아키텍처의 백본(backbone)으로도 활용될 수 있는 잠재력을 보여준다.