arXiv:2502.19908

CarPlanner: Consistent Auto-regressive Trajectory Planning for Large-scale Reinforcement Learning in Autonomous Driving

Dongkun Zhang, Jiaming Liang, Ke Guo, Sha Lu, Qi Wang, Rong Xiong, Zhenwei Miao, Yue Wang

제출 2025-02-27

원문 초록

Trajectory planning is vital for autonomous driving, ensuring safe and efficient navigation in complex environments. While recent learning-based methods, particularly reinforcement learning (RL), have shown promise in specific scenarios, RL planners struggle with training inefficiencies and managing large-scale, real-world driving scenarios. In this paper, we introduce \textbf{CarPlanner}, a \textbf{C}onsistent \textbf{a}uto-\textbf{r}egressive \textbf{Planner} that uses RL to generate multi-modal trajectories. The auto-regressive structure enables efficient large-scale RL training, while the incorporation of consistency ensures stable policy learning by maintaining coherent temporal consistency across time steps. Moreover, CarPlanner employs a generation-selection framework with an expert-guided reward function and an invariant-view module, simplifying RL training and enhancing policy performance. Extensive analysis demonstrates that our proposed RL framework effectively addresses the challenges of training efficiency and performance enhancement, positioning CarPlanner as a promising solution for trajectory planning in autonomous driving. To the best of our knowledge, we are the first to demonstrate that the RL-based planner can surpass both IL- and rule-based state-of-the-arts (SOTAs) on the challenging large-scale real-world dataset nuPlan. Our proposed CarPlanner surpasses RL-, IL-, and rule-based SOTA approaches within this demanding dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13781v1cs.CV공통 태그 Reinforcement Learning (RL), Autonomous Driving, Trajectory Planning

SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.

arXiv:2609.25831v2cs.RO공통 태그 Reinforcement Learning (RL), Autonomous Driving

때로는 걷기 전에 뛰어야 한다: VLM 자율주행을 위한 Run-then-Walk 스케줄링 전략

Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving

최근 비전-언어 모델(VLM) 기반 자율주행 플래너는 주행 성능을 최적화하기 위해 GRPO 방식의 강화학습(RL)을 도입하고 있습니다. 그러나 기존 GRPO 방식은 주행 효율성만을 최적화하여 주행 진행은 추구하되 안전하지 않은 동작을 유발하거나, 초기에 안전 제약을 강제하여 지나치게 보수적인 동작으로 이어지며, 두 방식 모두 긴 학습 시간을 필요로 합니다. 이러한 문제를 해결하기 위해, 본 논문은 먼저 두 가지 뚜렷한 강화학습 체제를 밝혀냅니다. 즉, 높은 주행 진행을 적극적으로 탐색하는 진행 체제(Run-GRPO)와 안정적인 진행 상황에서 안전성을 회복하는 안전 체제(Walk-GRPO)입니다. 이러한 발견을 바탕으로, 더 우수한 성능과 더 빠른 수렴을 모두 달성하는 단순하면서도 효과적인 2단계 GRPO 보상 스케줄링 전략인 Run-then-Walk를 제안합니다. 단일 학습 단계 내에서 진행, 안전, 또는 둘의 혼합에 집중할 수 있는 1단계 강화학습과 달리, 이 스케줄은 진행 탐색과 안전성 복구를 명시적으로 분리합니다. Run 단계에서는 진행에 집중하여 정책(policy)이 보수적 바이어스에서 벗어나 높은 진행 모드를 발견할 수 있도록 합니다. 이어지는 Walk 단계에서는 종점 및 안전 전략을 도입하여 Run 단계에서 발생한 불안전한 동작을 복구합니다. 이러한 역순 스케줄은 Walk 우선 방식의 보수성과 공동 최적화 방식의 불안전한 진행 추구 문제를 극복합니다. 본 연구는 NAVSIMv1, NAVSIMv2, Navhard, nuScenes 등 다양한 벤치마크에서 여러 VLM 기반 플래너를 통해 이를 검증합니다. 광범위한 실험을 통해 베이스라인 대비 40~50% 적은 강화학습 학습 에포크(epoch)만을 요구하면서도 향상된 주행 성능을 입증합니다. 코드는 https://github.com/haha-yuki-haha/AutoDrive-P3_with_Run-then-walk 에서 제공됩니다.

arXiv:2610.11060v1cs.CV공통 태그 Autonomous Driving, Trajectory Planning

AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링

AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding

월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.

arXiv:2609.39995v2cs.LG공통 태그 Autonomous Driving, Trajectory Planning

계획하면서 설명하는 법 학습하기: 자율주행을 위한 규칙 정렬 디퓨전 플래닝

Learning to Explain While Planning: Rule-Aligned Diffusion Planning for Autonomous Driving

디퓨전 플래너(diffusion planner)는 다중 모달(multimodal) 궤적 생성에서 강력한 성능을 보여줍니다. 그러나 기존 방법들은 주로 전문가 시연 데이터에 의존하여 궤적 분포를 피팅하므로, 주행 규칙을 명시적으로 모델링하지 않은 채 장면, 행동, 궤적 간의 통계적 상관관계만을 학습합니다. 전문가 데이터가 희소한 롱테일(long-tail) 시나리오에서는 모방할 행동이 부족하여 안전성이나 규정 준수 요건을 위반하는 궤적으로 이어질 수 있습니다. 나아가 기존의 생성 과정에는 규칙 수준의 설명이 결여되어 있어, 어떤 규칙이 궤적 조정을 유도하는지, 언제 효력을 발휘하는지, 얼마나 강하게 작용하는지 파악하기 어려우며, 이에 따라 실패 진단, 안전성 검증(validation), 목표 지향적 개선이 제한됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 학습(training) 중 미분 가능한 주행 규칙을 디퓨전 목적 함수에 통합하여 유한한 시연 데이터를 넘어 규칙 지식을 내재적 행동 원칙으로 전환하는 규칙 정렬 디퓨전 플래너(Rule-Aligned Diffusion Planner, RADP)를 제안합니다. 또한 예측된 궤적에 대한 규칙 손실의 그래디언트로부터 지도 신호를 구성하고 경량 어트리뷰션 헤드를 활용하여 각 규칙이 가하는 최적화 압력을 온라인으로 추정하는 규칙 압력 어트리뷰션(Rule-Pressure Attribution, RPA)을 소개합니다. 이러한 어트리뷰션의 폐루프(closed-loop) 행동 연관성을 평가하기 위해, 현재의 규칙 압력이 후속 폐루프 실행 중 발생하는 해당 위험을 반영하는지 평가하는 시간적 위험 정렬 프로토콜을 제안합니다. nuPlan에 대한 실험 결과는 RADP가 까다로운 안전 필수 시나리오에서 폐루프 플래닝 성능을 향상시키며, RPA는 후속 규칙별 위험과 일관된 시간적 정렬을 보여 내재적 규칙 학습과 규칙 수준의 해석 가능성을 모두 입증함을 보여줍니다.

arXiv:2609.28366v1cs.CV공통 태그 Autonomous Driving, Trajectory Planning

AnchorReasoning: 롱테일 자율주행 시나리오에서의 시각적 그라운딩 및 인과 추론 데이터셋

AnchorReasoning: A Visual Grounding and Causal Reasoning Dataset in Long-Tail Autonomous Driving Scenarios

비전-언어 모델(VLM)은 롱테일 자율주행에 유망한 접근을 제공하지만, 기존 주행 데이터셋은 의사결정에 중요한 시각적 근거를 추론 및 계획과 연결하기 위한 감독이 제한적이다. 본 연구는 WOD-E2E를 기반으로 구축한 시각적으로 그라운딩된 추론 데이터셋 AnchorReasoning을 소개하며, 416,119개의 주석 프레임과 4개 주요 범주 및 19개 세분 유형에 걸친 395,379개의 의사결정 핵심 요소를 포함한다. 각 프레임은 의사결정 핵심 요소 식별 및 위치 지정, 요소 속성과 함의, 주행 행동 근거, 행동 및 궤적 계획을 연결하는 시각적으로 그라운딩된 사고의 연쇄(VG-CoT)로 구성된다. 또한 이러한 계층적 능력을 점진적으로 학습하는 커리큘럼 지도 미세조정 전략과, 위치 지정 품질 평가를 위한 객체 크기 인식 그라운딩 지표를 함께 개발한다. 범용, 체화 AI, AV 특화 백본 여덟 가지에 걸친 실험에서 VG-CoT 감독이 그라운딩된 추론과 궤적 예측을 향상시킴을 보인다. 모델 전반에 걸쳐 5초 ADE와 FDE는 각각 7.84 및 11.86 감소하고, RFS Frame과 Cluster는 각각 1.66 및 1.70 개선된다. 이러한 이득은 평균적으로 추론 토큰 18.5개 감소 및 프레임당 추론 지연 0.32초 감소와 함께 달성되어, 롱테일 자율주행에서 VLM 추론 및 계획을 위한 시각적으로 그라운딩되고 의사결정 중심의 감독의 가치를 보여준다.

arXiv:2607.23511v1cs.CV공통 태그 Autonomous Driving, Trajectory Planning

MOJITO: 통합 종단간 자율 주행을 위한 모달리티 결합 학습

MOJITO: Modal Joint Learning for Unified End-to-End Autonomous Driving

종단간 자율 주행 시스템은 일반적으로 인지(perception) 단계가 다중 모달 센서 입력을 압축된 컨텍스트로 변환하고, 하류 플래너(planner)가 이 컨텍스트를 조건으로 궤적(trajectory)을 예측하는 2단계 캐스케이드 파이프라인을 따른다. 우리는 이러한 단방향 인지-계획 인터페이스가 센서 입력을 압축된 표현으로 강제하여, 계획에 중요한 세밀한 세부 정보를 잃게 한다고 주장한다. 또한 플래너를 이 압축된 컨텍스트로 제한함으로써, 최신 비전 기반 모델(vision foundation models)이 제공하는 풍부한 표현을 활용하기 어렵다. 이러한 문제를 해결하기 위해, 우리는 모달리티 결합 학습(modal joint learning)을 기반으로 한 종단간 자율 주행을 위한 통합 센서-액션(sensor-to-action) 프레임워크인 MOJITO를 제안한다. MOJITO는 캐스케이드 인터페이스를 제거하고, 대신 블록 단위(block-wise) Modal Joint Attention을 수행하여 액션(action), 이미지, LiDAR 특징(feature)을 동시에 갱신하고, 플래너가 액션 생성(action generation) 중 다중 모달 특징에 직접 접근할 수 있게 한다. MOJITO는 NAVSIM v1 데이터셋에서 88.9 PDMS, 더 도전적인 NAVSIM v2 데이터셋에서 88.4 EPDMS를 달성하여 새로운 최고 성능(state-of-the-art)을 기록했다. 광범위한 실험은 또한 강력한 확장성(scalability), 지시 따르기(instruction following), 다양한 궤적 생성을 입증한다. 코드와 모델은 https://github.com/mumucc01/MOJITO 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.