arXiv:2611.20107v1 cs.RO

SAFER: 자율주행의 월드 모델 기반 계획에서 탐험과 활용의 딜레마 다루기

SAFER: Navigating the Exploration-Exploitation Dilemma in World-Model-Based Planning for Autonomous Driving

Yansong Qu, Zilin Huang, Zihao Sheng, Sikai Chen, Samuel Labi

제출 2026-11-17

한국어 초록

자율주행 차량은 자신의 행동이 가져올 결과를 미리 내다봐야 한다. 충돌이 일어나는 드물고 대응 시간이 짧은 상황에서는 특히 중요하다. 월드 모델은 이런 예측을 가능하게 하지만, 학습 데이터가 포괄하는 범위 안에서만 신뢰할 수 있어 탐험과 활용 사이의 딜레마가 생긴다. 그 범위 안에서는 계획기가 데이터에 나타난 주행보다 뚜렷하게 나아지기 어렵고, 범위를 벗어나면 모델의 오차가 잘못된 판단으로 이어진다. 능숙한 주행의 로그에는 학습 범위를 넓히는 데 필요한 실패 사례가 드물다. 상호작용으로 학습하는 에이전트는 직접 실패해야 이런 사례를 얻을 수 있으며, 그 상황에서 대신 무엇을 해야 하는지는 배우지 못한다. 본 연구는 다른 주행 주체의 실패를 전문가의 판단과 함께 오프라인에서 학습하고, 이후 자신의 주행 경험으로 온라인 학습을 이어가는 SAFER를 제안한다. 오프라인에서는 부분적으로 학습한 에이전트와 사전에 정의한 복구 가능한 교란으로 시뮬레이션에서 실패를 재현한다(Stage). 전문가는 에이전트가 방문한 상태마다 취할 행동과 그 상태의 가치를 주석으로 붙인다(Annotate). 이를 통해 계획기가 탐험할 상황의 상당 부분을 주행 전에 학습 데이터에 반영한다. 계획 단계에서는 여러 시점을 묶어 처리하는 잠재 월드 모델이 실시간으로 결과를 예측하고(Foresee), 위험을 고려하는 표본 기반 계획기가 후보 주행 행동을 평가한다(Evaluate). 평가 점수는 누적 보상에서 상한을 둔 충돌 페널티를 뺀 값이다. 온라인에서는 주행이 오프라인 데이터의 범위를 벗어난 부분마다 모델을 지속적으로 개선한다(Refine). 폐루프 평가에서 SAFER는 비교 대상 중 CARLA 리더보드 경로의 최고 경로 완주율과 단계당 보상을 기록했다. 일반 차량이 얻을 수 없는 조감 시점 정보를 제공했을 때 각각 0.95와 0.77이었다. MetaDrive에서도 일반 교통 상황에서 53.4, 안전이 중요한 교통 상황에서 49.0으로 가장 높은 에피소드 보상을 달성했다. 프로젝트 페이지는 https://ys-qu.github.io/safer-website 에서 확인할 수 있다.

원문 초록

An autonomous vehicle must foresee the consequences of its actions, especially in the rare, time-critical situations where crashes happen. A world model offers this foresight, but only within the coverage of its training data, which poses an exploration-exploitation dilemma. Within this coverage a planner can hardly improve on the data, and beyond it the model's errors mislead it. Logs of competent driving rarely contain the failures that would widen the coverage, and agents that learn from interaction gain them only by failing themselves, without being shown what to do instead. We propose SAFER, a framework that learns offline from failures that others make, judged by an expert, and keeps learning online from its own driving. Offline, partially trained agents and scripted, recoverable perturbations Stage failures in simulation, and an expert Annotates every visited state with its action and value, so that much of what the planner explores is covered before it drives. In planning, a chunked latent world model Foresees the consequences fast enough for real-time use, and a risk-aware sampling-based planner Evaluates candidate maneuvers by their return minus a bounded collision penalty. Online, a loop continuously Refines the model wherever this driving leaves the coverage of the offline data. In closed-loop evaluation against the compared methods, SAFER reaches the highest route completion and reward per step on the CARLA Leaderboard routes, 0.95 and 0.77 from a privileged bird's-eye view, and the highest episode reward in MetaDrive, 53.4 in regular and 49.0 in safety-critical traffic. Project page: https://ys-qu.github.io/safer-website.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20107v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.