Censored Deep Reinforcement Patrolling with Information Criterion for Monitoring Large Water Resources using Autonomous Surface Vehicles
원문 초록
Monitoring and patrolling large water resources is a major challenge for conservation. The problem of acquiring data of an underlying environment that usually changes within time involves a proper formulation of the information. The use of Autonomous Surface Vehicles equipped with water quality sensor modules can serve as an early-warning system agents for contamination peak-detection, algae blooms monitoring, or oil-spill scenarios. In addition to information gathering, the vehicle must plan routes that are free of obstacles on non-convex maps. This work proposes a framework to obtain a collision-free policy that addresses the patrolling task for static and dynamic scenarios. Using information gain as a measure of the uncertainty reduction over data, it is proposed a Deep Q-Learning algorithm improved by a Q-Censoring mechanism for model-based obstacle avoidance. The obtained results demonstrate the usefulness of the proposed algorithm for water resource monitoring for static and dynamic scenarios. Simulations showed the use of noise-networks are a good choice for enhanced exploration, with 3 times less redundancy in the paths. Previous coverage strategies are also outperformed both in the accuracy of the obtained contamination model by a 13% on average and by a 37% in the detection of dangerous contamination peaks. Finally, these results indicate the appropriateness of the proposed framework for monitoring scenarios with autonomous vehicles.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
승객 지향 자율 주행을 위한 LLM 설명 가능 DRL 프레임워크
An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving
자율주행차는 더 안전하고 효율적인 이동성의 잠재력을 제공하지만, 의사결정 과정의 투명성 부족으로 인해 대중의 신뢰는 여전히 제한적이다. 본 연구는 적응형 주행 제어를 위한 심층 강화학습(deep reinforcement learning, DRL)과 승객에게 에이전트의 행동을 전달하기 위해 설계된 대규모 언어 모델(large language model, LLM) 기반 설명 가능 모듈을 결합하여 이 문제를 해결한다. DRL 에이전트는 Dueling Double Deep Q-Network를 사용하여 시뮬레이션에서 학습되었으며, \textit{fast}, \textit{comfort}, \textit{stop}이라는 서로 다른 주행 요청을 따르도록 훈련되었다. 이들은 안정적인 학습, 교통 규칙의 안전한 준수, 그리고 단일 여행 내 모드 간 안정적인 전환을 보였다. 동시에 LLM 모듈이 승객 요청을 해석하고, 설명이 필요한 시점을 판단하며, 간결하고 안전 중심의 정당화를 생성하도록 도입되었다. 결과는 강화학습(RL) 의사결정과 LLM의 통합에 대한 개념 증명(proof of concept) 역할을 하는 이 프레임워크가 안전성, 적응성, 설명 가능성의 균형을 이루며, 안전 제약으로 인해 요청이 지연되거나 무시될 때 가most effective → 가장 효과적임을 보여준다.
자율주행을 위한 생성형 AI: 최전선과 기회
Generative AI for Autonomous Driving: Frontiers and Opportunities
생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
A Survey on Vision-Language-Action Models for Autonomous Driving
Where, What, Why: Towards Explainable Driver Attention Prediction
ADDQ: Adaptive Distributional Double Q-Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.