HighwayLLM: Decision-Making and Navigation in Highway Driving with RL-Informed Language Model
원문 초록
Autonomous driving is a complex task which requires advanced decision making and control algorithms. Understanding the rationale behind the autonomous vehicles' decision is crucial to ensure their safe and effective operation on highway driving. This study presents a novel approach, HighwayLLM, which harnesses the reasoning capabilities of large language models (LLMs) to predict the future waypoints for ego-vehicle's navigation. Our approach also utilizes a pre-trained Reinforcement Learning (RL) model to serve as a high-level planner, making decisions on appropriate meta-level actions. The HighwayLLM combines the output from the RL model and the current state information to make safe, collision-free, and explainable predictions for the next states, thereby constructing a trajectory for the ego-vehicle. Subsequently, a PID-based controller guides the vehicle to the waypoints predicted by the LLM agent. This integration of LLM with RL and PID enhances the decision-making process and provides interpretability for highway autonomous driving.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HOP+: History-enhanced and Order-aware Pre-training for Vision-and-Language Navigation
Localization and Perception for Control and Decision Making of a Low Speed Autonomous Shuttle in a Campus Pilot Deployment
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
트로피컬 강화학습
Tropical Reinforcement Learning
대규모 언어 모델(LLM)을 위한 강화학습(RL)은 일반적으로 모든 성공적인 궤적의 확률을 합산하여 기대 수익을 극대화합니다. 그러나 고전적인 합산 공식은 모델 정책이 얼마나 자주 성공하는지만 나타낼 수 있을 뿐 어떤 해법이 실제로 작동했는지는 알 수 없으며, 확률의 총합이 1이기 때문에 한 해법을 강화하면 틀렸다고 입증된 적이 없는 다른 해법을 모델이 잊어버리게 만들 수 있습니다. 이로 인해 기대 수익은 구성적 추론(compositional reasoning)에 잘 맞지 않습니다. 구성적 추론에서는 모델이 분리되어 종종 실패하는 시도들 속에서 생성하지만 한 번에 함께 생성하는 경우는 드문 여러 추론 단계들을 조합하여 하나의 해법을 구성해야 하기 때문입니다. 이를 해결하기 위해 우리는 대수 구조의 단순한 변경에 기반한 트로피컬 강화학습(Tropical Reinforcement Learning)을 제안합니다. 대안적 해법들의 확률을 더하는 대신 최댓값을 취하며, 이는 트로피컬 반환(tropical semiring)으로 이어집니다. 이에 따라 상태의 가치는 재생 및 재사용이 가능한 명시적 경로와 함께, 가장 가능성이 높은 검증된 해법의 로그 확률이 됩니다. 이는 서로 다른 롤아웃에서 나온 경우라도 공유된 상태에서 만나는 최선의 접두 문맥과 최선의 접미 문맥을 결합할 수 있으므로 진정한 구성을 가능하게 합니다. 이를 실제로 적용하기 위해, 검증 가능한 결과를 갖는 결정론적이고 재설정 가능한 환경을 위한 학습 알고리즘인 TROPIC을 도입합니다. 네 가지 에이전트 태스크(Sokoban, Countdown, FrozenLake, WebShop)에서 TROPIC은 가장 강력한 온-정책(on-policy) 베이스라인 대비 최대 16%포인트 높은 성능을 보입니다. 따라서 추정기뿐만 아니라 강화학습의 대수 구조를 변경하는 것은 언어 모델의 구성적 추론을 크게 향상시킬 수 있습니다.
TerrainForge: 반사실적 자율주행을 위한 물리 기반 도로 기하학 편집
TerrainForge: Physics-Grounded road geometry Editing for Counterfactual Autonomous Driving
도로 기하학(예: 정점부, 오목부, 과속방지턱)과 노면 상태(예: 젖어 있거나 빙판인 노면)는 차량의 움직임, 운전자와 온보드 카메라의 시야, 차량 간 여유 거리(clearance)에 영향을 미칩니다. 따라서 주행 장면에서 이러한 속성을 편집하려면 이에 상응하는 차량 움직임의 변화가 수반되어야 합니다. 주행 비디오에서 이러한 차이를 포착하려면 도로 편집 내용이 차량 움직임, 카메라 시점, 차량 간 여유 거리로 전파되어야 합니다. 본 논문에서는 재구성된 다중 차량 주행 에피소드로부터 도로 기하학 중심의 반사실적(counterfactual) 시나리오를 생성하는 프레임워크인 TerrainForge를 제시합니다. 통합 도로 모델(model)은 장면 변형을 4륜 차량 동역학과 연결하여 정점부, 오목부, 과속방지턱, 마찰력 변화가 차량 움직임, 카메라 시점 및 차량 간 여유 거리로 전파될 수 있도록 합니다. 차량 동역학은 CarSim을 기준으로 평가되었으며, 규정된 도로 기하학은 재구성된 Waymo 장면에서 검증되었습니다. 18개의 에피소드에 걸쳐 주변 차량의 반응을 재계산하는 대신 기록된 궤적에 그대로 둘 경우, 예측된 자차-선행 차량 간 거리의 중앙값 피크 차이는 정점부에서 1.52m, 오목부에서 1.41m로 나타났습니다. 나아가 983개의 제동 에피소드에 걸친 15,758개의 도로 편집에 대해 자차의 반응을 시뮬레이션하고, 각 편집을 편집되지 않은 재생 대비 안전성(safety) 결과와 쌍으로 구성했습니다. 이 쌍들을 통해 원래 주행 컨텍스트와 후보 도로 편집 파라미터를 입력으로 받아 자차의 최종 간격(terminal gap) 변화를 예측하는 1단계 선별 대리(surrogate) 모델을 학습시킵니다. 홀드아웃(held-out) 장면에서 이 예측은 변화가 없다고 예측하는 기준 대비 22-40% 더 낮은 평균 절대 오차를 달성하므로, 전체 다중 차량 롤아웃(rollout)을 수행하기 전에 후보군을 저비용으로 선별할 수 있습니다.
계획하면서 설명하는 법 학습하기: 자율주행을 위한 규칙 정렬 디퓨전 플래닝
Learning to Explain While Planning: Rule-Aligned Diffusion Planning for Autonomous Driving
디퓨전 플래너(diffusion planner)는 다중 모달(multimodal) 궤적 생성에서 강력한 성능을 보여줍니다. 그러나 기존 방법들은 주로 전문가 시연 데이터에 의존하여 궤적 분포를 피팅하므로, 주행 규칙을 명시적으로 모델링하지 않은 채 장면, 행동, 궤적 간의 통계적 상관관계만을 학습합니다. 전문가 데이터가 희소한 롱테일(long-tail) 시나리오에서는 모방할 행동이 부족하여 안전성이나 규정 준수 요건을 위반하는 궤적으로 이어질 수 있습니다. 나아가 기존의 생성 과정에는 규칙 수준의 설명이 결여되어 있어, 어떤 규칙이 궤적 조정을 유도하는지, 언제 효력을 발휘하는지, 얼마나 강하게 작용하는지 파악하기 어려우며, 이에 따라 실패 진단, 안전성 검증(validation), 목표 지향적 개선이 제한됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 학습(training) 중 미분 가능한 주행 규칙을 디퓨전 목적 함수에 통합하여 유한한 시연 데이터를 넘어 규칙 지식을 내재적 행동 원칙으로 전환하는 규칙 정렬 디퓨전 플래너(Rule-Aligned Diffusion Planner, RADP)를 제안합니다. 또한 예측된 궤적에 대한 규칙 손실의 그래디언트로부터 지도 신호를 구성하고 경량 어트리뷰션 헤드를 활용하여 각 규칙이 가하는 최적화 압력을 온라인으로 추정하는 규칙 압력 어트리뷰션(Rule-Pressure Attribution, RPA)을 소개합니다. 이러한 어트리뷰션의 폐루프(closed-loop) 행동 연관성을 평가하기 위해, 현재의 규칙 압력이 후속 폐루프 실행 중 발생하는 해당 위험을 반영하는지 평가하는 시간적 위험 정렬 프로토콜을 제안합니다. nuPlan에 대한 실험 결과는 RADP가 까다로운 안전 필수 시나리오에서 폐루프 플래닝 성능을 향상시키며, RPA는 후속 규칙별 위험과 일관된 시간적 정렬을 보여 내재적 규칙 학습과 규칙 수준의 해석 가능성을 모두 입증함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.