World Engine: 자율주행을 위한 사후 학습 시대로
World Engine: Towards the Era of Post-Training for Autonomous Driving
한국어 초록
자율주행 차량은 오류가 심각한 결과를 초래할 수 있는 실제 환경에서 안전하게 작동해야 합니다. 최신 엔드투엔드 주행 정책은 일상적인 시나리오에서는 탁월한 성과를 보이지만, 실제 주행 데이터셋에서 안전 임계(safety-critical) '롱테일(long-tail)' 사건이 부족하여 신뢰성이 제한됩니다. 이러한 희귀한 상호작용은 학습된 정책의 실용적 안전 경계를 정의하지만, 실제 환경에서 대규모로 수집하기는 어렵습니다. 본 연구에서는 합성된 고위험 상호작용에 대해 사전학습된 주행 모델을 사후 학습(post-training)함으로써 이러한 근본적인 제약을 해결할 수 있음을 보여줍니다. World Engine은 실제 로그에서 고충실도의 상호작용 환경을 재구성하고 이를 체계적으로 현실적인 안전 임계 변형으로 확장하는 생성형 프레임워크입니다. 이 패러다임은 실제 환경 탐험(exploration)에 내재된 물리적 위험을 회피하면서, 안전 제약 조건에 정책을 정렬(alignment)하기 위한 강화학습 기반 사후 학습을 가능하게 합니다. nuPlan 기반의 공개 벤치마크에서 World Engine은 희귀 안전 임계 시나리오에서의 실패를 획기적으로 줄였으며, 사전학습 데이터만 스케일링하는 것보다 유의미하게 더 큰 개선 효과를 거두었습니다. 또한, 상용 규모의 자율주행 시스템에 배포되었을 때 결과 정책은 시뮬레이션 충돌을 줄이고 실도 테스트에서 측정 가능한 개선을 보여주었습니다. 이는 합성된 안전 임계 상호작용에 대한 사후 학습이 더 안전한 자율주행을 실현할 수 있는 확장 가능하고 효과적인 경로임을 시사합니다. 학습(training)을 포함한 전체 코드베이스는 대중에게 공개됩니다.
원문 초록
Autonomous vehicles must operate safely in the real world, where errors can have severe consequences. Although modern end-to-end driving policies excel in routine scenarios, their reliability is limited by the scarcity of safety-critical ``long-tail'' events in real driving datasets. These rare interactions define the practical safety boundary of the learned policy, yet they are difficult to collect at scale in the real world. Here we show that this fundamental limitation can be addressed by post-training pre-trained driving models on synthesized high-stakes interactions. We introduce World Engine, a generative framework that reconstructs high-fidelity interactive environments from real-world logs and systematically extrapolates them into realistic safety-critical variations. This paradigm enables reinforcement-based post-training to align policies with safety constraints, circumventing the physical risks inherent in real-world exploration. On a public benchmark built on nuPlan, World Engine substantially reduces failures in rare safety-critical scenarios and yields significantly larger gains than scaling pre-training data alone. Furthermore, when deployed on a production-scale autonomous driving system, the resulting policy reduces simulated collisions and demonstrates measurable improvements in on-road testing, showing that post-training on synthesized, safety-critical interactions offers a scalable and effective pathway to safer autonomous driving. The full codebase suite, including training, is released to the public.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19836v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비정상 강화학습에서 안전성 제약으로서의 조정 속도
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
비정상성 하에서 강화학습의 안전성을 보장하려면, 학습 시스템이 요구되는 회복 지평(recovery horizon) 내에서 예측된 환경 변화에 안전하게 적응할 수 있는지 판단해야 한다. 기존의 안전 강화학습(safe reinforcement learning) 방법은 일반적으로 정상(stationary) 환경을 가정하며, 적응 속도를 안전성 문제로 명시적으로 고려하지 않는다. 그러나 환경이 시간에 따라 변화할 때, 적응이 지연되면 일시적인 불안전 행동이 발생할 수 있다. 본 논문은 비정상 강화학습을 위한 안전성 제약으로 조정 속도를 제안한다. 핵심 아이디어는 적응 가능성(adaptation feasibility)의 관점에서 안전성을 정의하는 것이다: 안전을 유지하는 데 필요한 적응이 학습 시스템의 보정된 회복 용량(calibrated recovery capacity)을 초과하면, 미래 상태나 영역이 불안전해질 수 있다. 제안된 프레임워크는 학습된 컨텍스트 표현과 단기 지평 컨텍스트 예측을 사용하여 적응 수요를 추정하고, 이를 에이전트의 달성 가능한 적응 용량과 비교한다. 예측된 적응 수요가 보정된 회복 용량을 초과하면, 프레임워크는 위반 발생 전에 불안전 행동을 줄이기 위해 허용 가능한 행동 집합을 선제적으로 축소하고 행동 수준(action-level) 쉴드를 활성화한다. 비정상 운전 환경에서의 실험은 제안된 접근법이 주로 컨텍스트 변화와 정렬된 단기 지평 윈도우에서 안전 위반을 줄임을 보여준다. Ablation 연구는 쉴드가 피크 및 꼬리(tail) 위험 억제에 더 보수적이며, 최적화 수준의 조정이 단기 전환 조건(switch-conditioned) 위반을 추가로 줄임을 더 보여준다. 이 결과는 적응 가능성이 비정상성 하 강화학습을 위한 실용적인 안전 원칙임을 뒷받침하며, 선제적 개입이 환경 변화 기간 동안 안전성을 개선할 수 있음을 보여준다.
신호등 없는 교차로에서 자율주행 차량을 위한 압축 잠재 조율
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.
TerraZero: 대규모 무시연 셀프 플레이를 위한 절차적 주행 시뮬레이션
TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale
강력한 자율주행 에이전트를 학습하려면, 대규모 강화학습에 충분히 빠르면서 실제 세계 맵 구조에 행동을 그라운딩(grounding)하기에 충분히 사실적이고, 로그 데이터가 거의 담지 못하는 안전 중요 장기 꼬리(long tail)를 커버하기에 충분히 다양한 시뮬레이터가 필요하다. 본 논문은 절차적 주행 시뮬레이터이자 셀프 플레이 학습 스택인 TerraZero를 제시한다. 구성 가능한 C 엔진이 제로 카피(zero-copy) 경로를 통해 CPU에서 시뮬레이션을 실행하고 GPU에서 정책 추론을 수행하며, 단일 서버급 GPU에서 초당 130만 에이전트-스텝(agent-steps)을 유지한다. 이는 기존 객체 수준(object-level) 시뮬레이터보다 훨씬 빠르면서, 경량 단일 에이전트 시스템이 생략하는 충실도를 유지한다: 이종 에이전트, 다중 동역학 모델, 완전한 교통 규칙 집행. TerraZero는 로그 데이터를 실제 세계 맵 지형(map geometry)의 출처로만 취급하며, 각 맵에 무작위 규칙 기반 도로 사용자와 신호 제어기를 배치하고 에피소드마다 에이전트 동역학, 보상, 크기를 무작위화하여 하나의 맵이 무한한 시나리오 집합을 생성하게 한다. 보고된 모든 정책은 GPU 전반에 걸친 연산 효율적인 셀프 플레이 레시피로 강화학습만을 통해 처음부터 학습되며, 인간 시연이 전혀 없고 추론 시 폴백 플래너(fallback planner)도 없다. 정책은 도시와 데이터셋 전반에서 제로샷(zero-shot)으로 일반화되며, 명시적 감독 없이 창발적(emergent) 좌측 통행(left-hand-traffic) 주행을 포함한다. 에고(ego) 정책으로서 TerraZero는 InterPlan 장기 꼬리 벤치마크에서 1위를 차지한 최초의 완전 학습 기반 정책이며, 더 큰 학습형 플래너들보다 앞선다. 일상 주행 val14에서는 최고 수준 접근법 중 하나로 순위에 오르며 가장 안전하여, 충돌 및 충돌까지 시간(time-to-collision) 점수에서 최고를 기록한다. Waymo Open Sim Agents realism에서 동일한 레시피는 다른 시연 없는(demonstration-free) 방법들을 능가하며, 가장 강력한 reference-anchored 셀프 플레이 방법과 경쟁력을 보인다. 하나의 스택이 두 역할을 모두 수행한다: 승용차와 트럭의 동역학에 걸친 주행 정책, 그리고 차량·보행자·자전거를 공동 제어하는 시뮬 에이전트(sim agents).
Intelligent Resource Allocation in Joint Radar-Communication With Graph Neural Networks
When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.