arXiv:2003.04371

A Multi-Agent Reinforcement Learning Approach For Safe and Efficient Behavior Planning Of Connected Autonomous Vehicles

Songyang Han, Shanglin Zhou, Jiangwei Wang, Lynn Pepin, Caiwen Ding, Jie Fu, Fei Miao

제출 2020-03-09

원문 초록

The recent advancements in wireless technology enable connected autonomous vehicles (CAVs) to gather information about their environment by vehicle-to-vehicle (V2V) communication. In this work, we design an information-sharing-based multi-agent reinforcement learning (MARL) framework for CAVs, to take advantage of the extra information when making decisions to improve traffic efficiency and safety. The safe actor-critic algorithm we propose has two new techniques: the truncated Q-function and safe action mapping. The truncated Q-function utilizes the shared information from neighboring CAVs such that the joint state and action spaces of the Q-function do not grow in our algorithm for a large-scale CAV system. We prove the bound of the approximation error between the truncated-Q and global Q-functions. The safe action mapping provides a provable safety guarantee for both the training and execution based on control barrier functions. Using the CARLA simulator for experiments, we show that our approach can improve the CAV system's efficiency in terms of average velocity and comfort under different CAV ratios and different traffic densities. We also show that our approach avoids the execution of unsafe actions and always maintains a safe distance from other vehicles. We construct an obstacle-at-corner scenario to show that the shared vision can help CAVs to observe obstacles earlier and take action to avoid traffic jams.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21876v1cs.LG공통 태그 Reinforcement Learning, Q-Learning, Multi-agent Reinforcement Learning

정적 및 시변 네트워크에서의 분산 감소 Q-학습

Variance-Reduced Q-Learning over Static and Time-Varying Networks

동일한 마르코프 결정 과정(MDP)과 상호작용하는 여러 에이전트가 포함된 분산형 강화학습 문제를 조사한다. 에이전트는 네트워크를 통해 정보를 교환하여 최적 상태-행동 가치 함수를 공동으로 학습할 수 있다. 이 설정을 위해, 각 에포크 내에서 에이전트가 벨만 최적성 연산자를 국소적으로 추정하고 합의 기반 프로토콜을 사용하여 정보를 확산하는 VRDQ라는 새로운 에포크 기반 분산 $Q$-학습 알고리즘을 제안한다. 정적 및 시변 네트워크 모두에 대해, 협력으로부터 선형 속도 향상(linear speedups)을 누리는 VRDQ의 고확률 유한 시간 수렴률을 확립한다. 중요하게도, 표본 복잡도(sample-complexity)에서의 이러한 속도 향상이 $\tilde{O}(1)$의 통신만을 필요로 함을 증명하며, 이는 기존 연구의 통신 비용을 크게 개선한다.

arXiv:2610.13439v1cs.MA공통 태그 Autonomous Vehicles, Multi-agent Reinforcement Learning

자율주행차의 집합적 경로 선택에는 인간 운전자와의 공존을 위한 사회적 인식이 필요하다

Collective Autonomous Vehicle Routing Needs Social Awareness for Coexistence with Human Drivers

실제 교통 네트워크에서 자율주행차(AV)의 집합적 경로 선택은 인간 운전 차량(HDV)에 외부효과를 유발할 수 있는데, AV에게 유리한 경로가 다른 도로 이용자의 통행 시간을 증가시킬 수 있기 때문이다. 이를 해결하기 위해 우리는 이기적인 통행 시간 기반 AV 보상에 사회적 요소인 한계 비용(marginal cost)을 도입한다. 한계 비용은 해당 AV를 제거한 반사실적(counterfactual) 시뮬레이션에서의 통행 시간과 비교하여, 해당 AV가 다른 도로 이용자에게 미치는 영향을 포착한다. 우리는 다중 에이전트 강화학습(Multi-Agent Reinforcement Learning, MARL)을 사용하여 혼합 자율주행(mixed-autonomy) 교통 환경에서 AV의 경로 선택을 연구하며, 여기서 AV는 교통 환경과의 반복적인 상호작용을 통해 경로 선택 정책을 학습한다. Ingolstadt와 Provins의 실제 네트워크에 대한 실험 결과, 한계 비용을 AV 보상에 포함하면 이기적인 AV 경로 선택에 비해 HDV 통행 시간 증가를 제한하고 AV 통행 시간을 단축할 뿐만 아니라, 전체 시스템 성능도 향상되는 것으로 나타났다. Ingolstadt에서 AV 40%의 이기적인 경로 선택은 다른 차량의 통행 시간을 1.7% 증가시키지만, 사회적 보상을 포함하면 이 수치는 1.1%로 감소한다. 흥미롭게도 전체 시스템 성능이 향상될 뿐만 아니라, AV 자신도 사회적으로 행동할 때 더 나은 결과를 얻는다. 이러한 효과는 실험 대상 도시, 보급률(penetration rate), 반복 실험 전반에 걸쳐 일관되게 나타나지만, 보상에서 사회적 요소의 가중치가 증가하면 시스템이 원하는 성능에 도달하지 못한다. 혼합 자율주행 교통에서 사회적 AV 경로 선택을 보다 확장 가능하게 만들기 위해, 우리는 교통 시스템에 가장 큰 영향을 미치는 경로 선택을 하는 AV에 대해서만 한계 비용을 계산한다. 이를 통해 반사실적 시뮬레이션의 횟수를 줄이면서도 훨씬 낮은 계산 비용으로 유사한 성능을 달성한다. 우리의 결과는 AV 경로 선택이 이기적인 보상을 넘어, 모든 교통 참여자의 이익을 위해 목적 함수에 사회적 요소를 포함해야 함을 시사한다.

arXiv:2610.02403v1cs.NI공통 태그 Reinforcement Learning, Q-Learning

5G 및 차세대 네트워크에서의 에너지 절감: 양자 강화학습 접근법

Energy Saving in 5G and Beyond Networks: A Quantum Reinforcement Learning Approach

에너지 절감은 5G 및 차세대(Beyond 5G) 네트워크에서 중요한 과제가 되었습니다. 연결된 기기의 급격한 증가는 전반적인 네트워크 에너지 수요를 증가시켜 운영 비용을 감당하기 어려운 수준으로 끌어올렸습니다. 기지국(BS)은 무선 접속망(RAN) 전체 에너지의 약 60-70%를 소비하며 에너지 사용량의 가장 큰 비중을 차지합니다. 따라서 이 문제를 해결하기 위해 본 논문에서는 사용자 단말(UE)의 동적 동작을 고려하면서 기지국의 에너지 사용량을 최적화합니다. 심층 강화학습(DRL)은 사용자 밀도가 낮을 때 기지국 전원을 자동으로 켜고 끄거나, 전송 전력을 조절하여 에너지 효율과 서비스 품질(QoS)의 균형을 맞추는 등 효과적인 에너지 절감 정책을 결정하기 위한 자연스러운 후보입니다. 그러나 과중한 학습(training) 부담과 밀집된 5G 환경에서 상태 및 행동 공간의 기하급수적인 증가는 탐험(exploration)을 점점 더 어렵게 만듭니다. 이러한 한계를 극복하기 위해, 본 논문에서는 매개변수화된 양자 회로를 통해 중첩과 얽힘을 포함한 양자 원리를 활용하여 기존 심층 신경망에 의존하는 DRL보다 훨씬 빠른 수렴(convergence)을 가능하게 하는 새로운 양자 강화학습(QRL) 알고리즘을 소개합니다. 광범위한 시뮬레이션을 통해 제안된 QRL이 단말의 이동성이 매우 높고 기지국 안테나와의 연결이 빈번하게 전환되는 상황에서도 QoS를 유지하면서 에너지 소비를 대폭 줄일 수 있음을 입증합니다. 또한, QRL은 수렴 속도와 학습 복잡도 측면 모두에서 DRL 및 Q-러닝(Q-Learning)을 일관되게 능가합니다.

arXiv:2608.24471v2cs.AI공통 태그 Reinforcement Learning, Q-Learning

민첩 관측 위성을 활용한 해상 이동 표적 관측 스케줄링을 위한 암묵적 Q-러닝 기반 개미 군집 최적화

Implicit Q-learning-bootstrapped ant colony optimization for maritime moving-target observation scheduling with agile satellites

민첩 지구 관측 위성을 활용한 해상 이동 표적 관측 스케줄링은 동적이고 순서 의존적인 조합 최적화(combinatorial optimization) 문제입니다. 해수면 표적은 지속적으로 이동하므로, 표적의 움직임과 위성 궤도 기하 구조에 따라 관측 가능 윈도우가 가변적으로 변합니다. 따라서 스케줄러는 시간 윈도우, 자세 기동 및 탑재 자원 제약 조건 하에서 작업 선택, 위성 할당, 관측 윈도우 선택, 관측 순서를 공동으로 결정해야 합니다. 본 논문에서는 다중 위성 해상 이동 표적 관측 스케줄링을 위해 암묵적 Q-러닝(implicit Q-learning)을 부트스트랩한 개미 군집 최적화(ant colony optimization) 방법인 IQACO를 제안합니다. IQACO는 작업 선택 정책을 직접 학습하는 대신, 오프라인 암묵적 Q-러닝 모듈을 구성적 개미 군집 최적화에 임베딩하여 페로몬 요인, 휴리스틱 요인 및 증발률을 적응적으로 조절합니다. 압축된 탐색 상태 표현은 페로몬 분포, 현재 및 역대 최고 해의 품질, 반복(iteration) 진행 상황을 포착합니다. 온라인 스케줄링 중에는 개미 군집 최적화가 실행 가능한 관측 시퀀스를 구성하는 동시에, 학습된 정책이 현재 탐색 상태에 맞춰 탐색 동작을 조정합니다. 다양한 규모와 위성 구성을 가진 14개 시나리오에서의 실험 결과, IQACO는 비교 알고리즘들보다 지속적으로 우수한 성능을 보였으며 기존 개미 군집 최적화 대비 평균 목적 함수 값을 2.86%~9.41% 향상시켰습니다. 추가 비교 및 보완 실험은 다양한 스케줄링 조건과 문제 설정 전반에서 본 방법의 효과성과 강건성을 입증합니다. 이러한 결과는 오프라인 가치 학습이 제약이 있는 해상 이동 표적 관측 스케줄링을 위한 효과적인 적응형 탐색 제어 메커니즘을 제공함을 보여줍니다.

arXiv:2609.33289v2cs.AI공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning

판매 학습: 다중 제품 시장에서 전략적 대규모 언어 모델 에이전트를 위한 강화학습

Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets

다중 제품 시장에서 작동하는 자율 대규모 언어 모델(LLM) 에이전트는 정보 비대칭과 자원 제약 조건 하에서 순차적 의사결정을 내려야 합니다. 본 연구에서는 판매자가 독립적인 구매자 풀을 대상으로 대체 가능한 자산 카탈로그를 동시에 협상하는 다중 품목 협상 환경에서 에이전트가 판매자로서 효과적으로 활동하도록 학습시키는 머신러닝 접근 방식을 개발합니다. 구매자들은 제품 전반에 걸쳐 비공개적이고 이질적인 가치 평가를 지니며, 각 구매자는 최대 하나의 품목만 구매할 수 있습니다. 판매자는 전체 통신 턴 수의 제한에 직면하여 구매자의 비공개 가치 평가를 고려해 가장 수익성이 높은 제품과 동적으로 매칭하는 동시에, 더 큰 잠재 가치를 지닌 조합을 향해 제한된 상호작용 예산을 전략적으로 할당해야 합니다. 본 논문에서는 자연어를 파싱 가능하고 규제된 의사결정 공간으로 매핑하는 정형화된 4단계 메시지 프로토콜을 사용하여 이 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 정형화합니다. 이러한 정형화를 바탕으로 검증 가능한 보상 기반 강화학습(RLVR)을 사용하는 사후 학습(post-training) 방법을 설계합니다. 이 프레임워크를 평가하기 위해 제약 준수, 판매자 잉여 추출, 할당 품질을 정량화하는 다차원 메트릭 스위트를 구축합니다. 학습된 판매자 에이전트는 제한된 재고를 구매자에게 더 효과적으로 매칭하는 법을 학습하며, 판매자 잉여 추출 및 구매자-제품 할당 품질 모두에서 조 단위 매개변수를 지닌 프론티어 모델과 대등하거나 이를 능가하는 성능을 보입니다. 마지막으로, 이렇게 학습된 전략은 학습 중 접하지 않은 새로운 시장 구조, 상관관계가 있는 가치 평가 분포, 가격 범위로도 견고하게 일반화됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.