Inverse reinforcement learning for autonomous navigation via differentiable semantic mapping and planning
원문 초록
This paper focuses on inverse reinforcement learning for autonomous navigation using distance and semantic category observations. The objective is to infer a cost function that explains demonstrated behavior while relying only on the expert's observations and state-control trajectory. We develop a map encoder, that infers semantic category probabilities from the observation sequence, and a cost encoder, defined as a deep neural network over the semantic features. Since the expert cost is not directly observable, the model parameters can only be optimized by differentiating the error between demonstrated controls and a control policy computed from the cost estimate. We propose a new model of expert behavior that enables error minimization using a closed-form subgradient computed only over a subset of promising states via a motion planning algorithm. Our approach allows generalizing the learned behavior to new environments with new spatial configurations of the semantic categories. We analyze the different components of our model in a minigrid environment. We also demonstrate that our approach learns to follow traffic rules in the autonomous driving CARLA simulator by relying on semantic observations of buildings, sidewalks, and road lanes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬
SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.
때로는 걷기 전에 뛰어야 한다: VLM 자율주행을 위한 Run-then-Walk 스케줄링 전략
Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving
최근 비전-언어 모델(VLM) 기반 자율주행 플래너는 주행 성능을 최적화하기 위해 GRPO 방식의 강화학습(RL)을 도입하고 있습니다. 그러나 기존 GRPO 방식은 주행 효율성만을 최적화하여 주행 진행은 추구하되 안전하지 않은 동작을 유발하거나, 초기에 안전 제약을 강제하여 지나치게 보수적인 동작으로 이어지며, 두 방식 모두 긴 학습 시간을 필요로 합니다. 이러한 문제를 해결하기 위해, 본 논문은 먼저 두 가지 뚜렷한 강화학습 체제를 밝혀냅니다. 즉, 높은 주행 진행을 적극적으로 탐색하는 진행 체제(Run-GRPO)와 안정적인 진행 상황에서 안전성을 회복하는 안전 체제(Walk-GRPO)입니다. 이러한 발견을 바탕으로, 더 우수한 성능과 더 빠른 수렴을 모두 달성하는 단순하면서도 효과적인 2단계 GRPO 보상 스케줄링 전략인 Run-then-Walk를 제안합니다. 단일 학습 단계 내에서 진행, 안전, 또는 둘의 혼합에 집중할 수 있는 1단계 강화학습과 달리, 이 스케줄은 진행 탐색과 안전성 복구를 명시적으로 분리합니다. Run 단계에서는 진행에 집중하여 정책(policy)이 보수적 바이어스에서 벗어나 높은 진행 모드를 발견할 수 있도록 합니다. 이어지는 Walk 단계에서는 종점 및 안전 전략을 도입하여 Run 단계에서 발생한 불안전한 동작을 복구합니다. 이러한 역순 스케줄은 Walk 우선 방식의 보수성과 공동 최적화 방식의 불안전한 진행 추구 문제를 극복합니다. 본 연구는 NAVSIMv1, NAVSIMv2, Navhard, nuScenes 등 다양한 벤치마크에서 여러 VLM 기반 플래너를 통해 이를 검증합니다. 광범위한 실험을 통해 베이스라인 대비 40~50% 적은 강화학습 학습 에포크(epoch)만을 요구하면서도 향상된 주행 성능을 입증합니다. 코드는 https://github.com/haha-yuki-haha/AutoDrive-P3_with_Run-then-walk 에서 제공됩니다.
종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습
Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Energy Harvesting Reconfigurable Intelligent Surface for UAV Based on Robust Deep Reinforcement Learning
Task Independent Capsule-Based Agents for Deep Q-Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.