주변 운전자와 조화를 이루는 주행을 위한 실행 피드백 기반 가치 및 정책 보정
Value and Policy Calibration from Execution Feedback for Socially Compatible Driving
한국어 초록
교차로에서 자율주행 차량(AV)이 내린 결정은 주변의 인간 운전 차량(HDV)이 겪는 지연, 제동, 움직임의 부드러움에 영향을 준다. 주변 운전자와 조화를 이루는 행동을 학습하려면 모델이 상상한 상호작용의 결과와 실제 행동을 실행한 뒤 얻는 피드백을 연결해야 한다. 본 연구는 월드 모델에서 상상한 경험으로 정책을 개선하는 동시에, 완료된 상호작용을 사용해 가치와 정책을 직접 보정하는 월드 모델 강화학습 프레임워크를 제안한다. 자율주행 차량의 진행과 주변 인간 운전 차량의 부담 사이에서 균형을 잡는다. 상호작용을 고려한 잠재 모델이 상상 속 경험을 생성한다. 오프-정책 보정과 리플레이 갱신을 적용해 관측한 보상과 전이로 크리틱과 액터를 모두 학습한다. 신호등이 없는 교차로의 시뮬레이션에서 성공률은 100%였다. 뒤따르는 인간 운전 차량의 가속도 변동은 PIWM 대비 65.5%, DreamerV3 대비 44.0% 줄었다. 구성 요소 제거 실험에서 가치 보정은 주변 차량의 부담을 줄이고, 정책 보정은 통과 효율을 높이는 상호 보완적인 역할을 했다. 분포 밖으로 교통 조건이 바뀐 시험에서도 PIWM과 비슷한 시간에 교차로를 통과하면서 자차의 가속도 변화율과 인간 운전 차량의 가속도 변동은 더 작았다.
원문 초록
Autonomous vehicle (AV) decisions at intersections affect the delay, braking, and motion smoothness of surrounding human-driven vehicles (HDVs). Learning socially compatible behavior requires connecting imagined interaction outcomes with feedback from executed actions. We propose a world-model reinforcement learning framework combines imagined policy improvement with direct value and policy calibration from finalized interactions, balancing AV progress with HDV interaction burden. An interaction-aware latent model supports imagination, while off-policy correction and replay updates enable observed rewards and transitions to supervise both the critic and actor. Simulation experiments at an unsignalized intersection achieve a 100% success and reductions in following-HDV acceleration variation of 65.5% and 44.0% relative to PIWM and DreamerV3, respectively. Ablations identify complementary roles for value calibration in reducing HDV burden and policy calibration in improving passage efficiency. Tests under out-of-distribution traffic shifts further show lower ego jerk and HDV acceleration variation than PIWM at comparable passage times.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19969v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.