A Risk-Averse Preview-based $Q$-Learning Algorithm: Application to Highway Driving of Autonomous Vehicles
원문 초록
A risk-averse preview-based $Q$-learning planner is presented for navigation of autonomous vehicles. To this end, the multi-lane road ahead of a vehicle is represented by a finite-state non-stationary Markov decision process (MDP). A risk assessment unit module is then presented that leverages the preview information provided by sensors along with a stochastic reachability module to assign reward values to the MDP states and update them as scenarios develop. A sampling-based risk-averse preview-based Q-learning algorithm is finally developed that generates samples using the preview information and reward function to learn risk-averse optimal planning strategies without actual interaction with the environment. The risk factor is imposed on the objective function to avoid fluctuation of the Q values, which can jeopardize the vehicle's safety and/or performance. The overall hybrid automaton model of the system is leveraged to develop a feasibility check unit module that detects unfeasible plans and enables the planner system to react proactively to the changes of the environment. Finally, to verify the efficiency of the presented algorithm, its implementation on two highway driving scenarios of an autonomous vehicle in a varying traffic density is considered.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
승객 지향 자율 주행을 위한 LLM 설명 가능 DRL 프레임워크
An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving
자율주행차는 더 안전하고 효율적인 이동성의 잠재력을 제공하지만, 의사결정 과정의 투명성 부족으로 인해 대중의 신뢰는 여전히 제한적이다. 본 연구는 적응형 주행 제어를 위한 심층 강화학습(deep reinforcement learning, DRL)과 승객에게 에이전트의 행동을 전달하기 위해 설계된 대규모 언어 모델(large language model, LLM) 기반 설명 가능 모듈을 결합하여 이 문제를 해결한다. DRL 에이전트는 Dueling Double Deep Q-Network를 사용하여 시뮬레이션에서 학습되었으며, \textit{fast}, \textit{comfort}, \textit{stop}이라는 서로 다른 주행 요청을 따르도록 훈련되었다. 이들은 안정적인 학습, 교통 규칙의 안전한 준수, 그리고 단일 여행 내 모드 간 안정적인 전환을 보였다. 동시에 LLM 모듈이 승객 요청을 해석하고, 설명이 필요한 시점을 판단하며, 간결하고 안전 중심의 정당화를 생성하도록 도입되었다. 결과는 강화학습(RL) 의사결정과 LLM의 통합에 대한 개념 증명(proof of concept) 역할을 하는 이 프레임워크가 안전성, 적응성, 설명 가능성의 균형을 이루며, 안전 제약으로 인해 요청이 지연되거나 무시될 때 가most effective → 가장 효과적임을 보여준다.
자율주행을 위한 생성형 AI: 최전선과 기회
Generative AI for Autonomous Driving: Frontiers and Opportunities
생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
A Survey on Vision-Language-Action Models for Autonomous Driving
Where, What, Why: Towards Explainable Driver Attention Prediction
ADDQ: Adaptive Distributional Double Q-Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.