arXiv:2611.22998v1 cs.AI

동결된 월드 모델로 위험을 고려해 궤적을 선택하는 잔차 기반 경량 강화학습

Residual-Guided Lightweight Reinforcement Learning for Risk-Aware Trajectory Selection with a Frozen World Model

Jiaqi Wu, Yongqi Dong, Yijie Zhong, Maple Shao, Yide Tao, Linsen Cai, Weize Cai, Hai L. Vu, Alvaro Garcia Hernandez

제출 2026-11-18

한국어 초록

자율주행에서 월드 모델은 후보 궤적을 평가할 수 있도록 미래 장면을 예측한다. 그러나 고정된 선택 규칙으로는 장면마다 달라지는 절충 관계를 반영하기 어려울 수 있다. 가중치를 동결한 월드 모델과 고정 후보 집합을 사용해 경량화한 궤적 선택을 수행하는 잔차 기반 강화학습(RL) 프레임워크를 제안한다. 근위 정책 최적화(PPO)로 후보를 선택하고 범위가 제한된 궤적 잔차를 정하는 공동 정책을 미세조정한다. 문맥 조건부 순위 산정 신경망은 선택한 궤적에 국소 교란을 가해 평가한 피드백으로 후보 선호도를 학습한다. 추론 시 선택기는 고정 가중치를 사용해 학습한 선호 순위와 예측 위험 순위를 결합하고, 선택한 후보 궤적을 수정 없이 반환한다. 미세조정에서는 액터와 크리틱의 매개변수 16,106개를 갱신한다. 배포하는 선택기에는 매개변수 11,725개의 순위 산정 신경망만 남기며, 잔차 분기와 크리틱은 학습에만 사용한다. nuScenes 검증 세트의 개루프 평가에서 RL 기반 선택을 쓰지 않는 RiskWorld 모델보다 평균 유클리드 궤적 오차(L2)를 3.99% 줄였다. 피드백 접근 횟수와 액터 갱신 횟수를 동일하게 맞췄을 때, 잔차 탐색은 잔차 없이 학습한 범주형 PPO 변형보다 L2를 0.83% 줄였다. 위험 특징을 제거하거나 섞은 조건에서도 RiskWorld보다 낮은 L2를 유지했다.

원문 초록

In automated driving, world models provide future scene predictions for evaluating candidate trajectories, but fixed selection rules may not capture scene-dependent trade-offs. We propose a residual-guided reinforcement learning (RL) framework for lightweight trajectory selection with a frozen world model and a fixed candidate bank. The framework uses proximal policy optimization (PPO) to fine-tune a joint policy over candidate selection and bounded trajectory residuals. A context-conditioned ranking network learns candidate preferences from feedback obtained by evaluating local perturbations of the selected trajectories. At inference, the selector combines learned preference and predicted risk ranks using fixed weights and returns the selected candidate trajectory without modification. Fine-tuning updates 16,106 parameters across the actor and critic, while the deployed selector retains only the 11,725-parameter ranking network, with the residual branch and critic used exclusively during training. In open-loop evaluation on the nuScenes validation set, the method reduces average Euclidean trajectory error (L2) by 3.99% relative to the RiskWorld model baseline without RL-based selection. Under matched budgets for feedback accesses and actor updates, residual exploration reduces L2 by 0.83% relative to the categorical PPO variant trained without residuals. The method also maintains lower L2 than RiskWorld when risk features are removed or shuffled.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22998v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.