arXiv:2307.16228

Robust Electric Vehicle Balancing of Autonomous Mobility-On-Demand System: A Multi-Agent Reinforcement Learning Approach

Sihong He, Shuo Han, Fei Miao

제출 2023-07-30

원문 초록

Electric autonomous vehicles (EAVs) are getting attention in future autonomous mobility-on-demand (AMoD) systems due to their economic and societal benefits. However, EAVs' unique charging patterns (long charging time, high charging frequency, unpredictable charging behaviors, etc.) make it challenging to accurately predict the EAVs supply in E-AMoD systems. Furthermore, the mobility demand's prediction uncertainty makes it an urgent and challenging task to design an integrated vehicle balancing solution under supply and demand uncertainties. Despite the success of reinforcement learning-based E-AMoD balancing algorithms, state uncertainties under the EV supply or mobility demand remain unexplored. In this work, we design a multi-agent reinforcement learning (MARL)-based framework for EAVs balancing in E-AMoD systems, with adversarial agents to model both the EAVs supply and mobility demand uncertainties that may undermine the vehicle balancing solutions. We then propose a robust E-AMoD Balancing MARL (REBAMA) algorithm to train a robust EAVs balancing policy to balance both the supply-demand ratio and charging utilization rate across the whole city. Experiments show that our proposed robust method performs better compared with a non-robust MARL method that does not consider state uncertainties; it improves the reward, charging utilization fairness, and supply-demand fairness by 19.28%, 28.18%, and 3.97%, respectively. Compared with a robust optimization-based method, the proposed MARL algorithm can improve the reward, charging utilization fairness, and supply-demand fairness by 8.21%, 8.29%, and 9.42%, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13439v1cs.MA공통 태그 Autonomous Vehicles, Multi-agent Reinforcement Learning

자율주행차의 집합적 경로 선택에는 인간 운전자와의 공존을 위한 사회적 인식이 필요하다

Collective Autonomous Vehicle Routing Needs Social Awareness for Coexistence with Human Drivers

실제 교통 네트워크에서 자율주행차(AV)의 집합적 경로 선택은 인간 운전 차량(HDV)에 외부효과를 유발할 수 있는데, AV에게 유리한 경로가 다른 도로 이용자의 통행 시간을 증가시킬 수 있기 때문이다. 이를 해결하기 위해 우리는 이기적인 통행 시간 기반 AV 보상에 사회적 요소인 한계 비용(marginal cost)을 도입한다. 한계 비용은 해당 AV를 제거한 반사실적(counterfactual) 시뮬레이션에서의 통행 시간과 비교하여, 해당 AV가 다른 도로 이용자에게 미치는 영향을 포착한다. 우리는 다중 에이전트 강화학습(Multi-Agent Reinforcement Learning, MARL)을 사용하여 혼합 자율주행(mixed-autonomy) 교통 환경에서 AV의 경로 선택을 연구하며, 여기서 AV는 교통 환경과의 반복적인 상호작용을 통해 경로 선택 정책을 학습한다. Ingolstadt와 Provins의 실제 네트워크에 대한 실험 결과, 한계 비용을 AV 보상에 포함하면 이기적인 AV 경로 선택에 비해 HDV 통행 시간 증가를 제한하고 AV 통행 시간을 단축할 뿐만 아니라, 전체 시스템 성능도 향상되는 것으로 나타났다. Ingolstadt에서 AV 40%의 이기적인 경로 선택은 다른 차량의 통행 시간을 1.7% 증가시키지만, 사회적 보상을 포함하면 이 수치는 1.1%로 감소한다. 흥미롭게도 전체 시스템 성능이 향상될 뿐만 아니라, AV 자신도 사회적으로 행동할 때 더 나은 결과를 얻는다. 이러한 효과는 실험 대상 도시, 보급률(penetration rate), 반복 실험 전반에 걸쳐 일관되게 나타나지만, 보상에서 사회적 요소의 가중치가 증가하면 시스템이 원하는 성능에 도달하지 못한다. 혼합 자율주행 교통에서 사회적 AV 경로 선택을 보다 확장 가능하게 만들기 위해, 우리는 교통 시스템에 가장 큰 영향을 미치는 경로 선택을 하는 AV에 대해서만 한계 비용을 계산한다. 이를 통해 반사실적 시뮬레이션의 횟수를 줄이면서도 훨씬 낮은 계산 비용으로 유사한 성능을 달성한다. 우리의 결과는 AV 경로 선택이 이기적인 보상을 넘어, 모든 교통 참여자의 이익을 위해 목적 함수에 사회적 요소를 포함해야 함을 시사한다.

arXiv:2609.27309v1cs.SE공통 태그 Fairness, Multi-agent Reinforcement Learning

FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트

FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.

arXiv:2609.27994v1cs.MA공통 태그 Fairness, Multi-agent Reinforcement Learning

개별 규제는 준수하지만 집단적으로는 차별적인: 규제 금융 환경에서 멀티 에이전트 AI를 위한 거버넌스 아키텍처

Compliant with Local Controls, Collectively Discriminatory. A Governance Architecture for Multi-Agent AI in Regulated Finance

금융 기관들은 신용, 이상 거래 탐지(fraud), 채권 추심, 규제 준수(compliance) 및 운영 제어 분야에 에이전트 기반 워크플로를 배포하기 시작하고 있습니다. 그러나 거버넌스는 여전히 구성요소 중심적(component-centric) 수준에 머물러 있어, 각 모델(model)이나 에이전트(agent)는 개별적으로 명세화, 테스트, 승인 및 모니터링됩니다. 이러한 방식은 기관 차원의 리스크가 개별적으로는 수용 가능한 다수 구성요소의 결합된 동작에서 비롯될 때 불충분합니다. 본 논문에서는 이러한 격차를 '구조적 비합성성(constitutional non-compositionality)'이라고 부릅니다. 즉, 개별 컴플라이언스 점검 결과가 제한된 차등 영향(bounded disparate impact), 시장 건전성, 추적 가능한 책임성 등과 같이 허용 가능한 집단적 결과로 반드시 종합되는 것은 아닙니다. 이에 본 논문에서는 에이전트 집단 거버넌스를 위한 금융 특화 참조 아키텍처이자 반증 가능한 연구 과제로 ARIA를 제안합니다. ARIA는 규범-책임, 실행-제어, 보증-학습의 세 가지 영역에 걸쳐 정책 명세, 집단 수준의 관측 대비 예상 동작 모니터링(M2), 제한적 권한, 런타임 격리, 적응형 정책 변경, 인간 감독 역량 보존이라는 6가지 기능을 체계화합니다. 두 가지 시뮬레이션을 통해 개별 통제 환경에서의 공유 신호 기반 금융이력 부족자(thin-file) 배제 현상과, 인위적으로 조성된 드리프트 환경에서 관측 대비 예상 분포 모니터링을 통한 조기 경보 가능성을 입증합니다. 본 연구는 이러한 통제 기법을 공정 대출, EU AI 법(EU AI Act), 모델 리스크 및 영업행위 감독 증빙 요건과 연계하며, 즉각적인 운영 효과성을 주장하기보다는 향후 검증(validation) 과제를 제시하며 마무리합니다.

arXiv:2609.22967v1cs.CV공통 태그 Autonomous Vehicles, Multi-agent Reinforcement Learning

범용 협력 지능: 회복력 있는 다중 에이전트 생태계를 위한 인지 아키텍처

General Collaborative Intelligence: Architecting Cognition for Resilient Multi-Agent Ecosystems

다중 에이전트 무인 시스템은 고립된 자기 중심적 sensing에서 협력 지능으로 이동하고 있으며, 분산 에이전트들이 압축된 특징(feature)을 교환하여 어떤 단일 에이전트도 벗어날 수 없는 국소 관측의 함정—가림(occlusion), 유한한 센서 범위, 환경 열화—to overcome. 해당 분야는 아키텍처, 통신, embodied, 회복력(resilience), 신뢰 차원에서 성숙해 왔지만, 기존 서베이는 이러한 차원을 각각 따로 다루며 그 의존 관계를 거의 드러내지 않는다. 본 리뷰는 두 가지 상보적 렌즈를 통해 통합적 종합을 제시한다. 첫째는 협력 단계, 통신 패러다임, 융합 아키텍처, 학습 전략, 응용 도메인에 걸친 5차원 분류체계이다. 둘째는 인지적 시너지를 운영 기준으로 전환하는 세 가지 인지적 시너지 조건—의미적 모호성 해소(Semantic Disambiguation), 화용론적 정보 교환(Pragmatic Information Exchange), 선제적 정보 탐색(Proactive Informational Foraging)—이다. 이러한 렌즈를 통해 협력 아키텍처와 토폴로지, 채널을 미분 가능한 파이프라인 구성요소로 다루는 신경-통신 공동 설계(neural-communication co-design), 다중 에이전트 강화학습을 통한 embodied 행동-지각 루프, 동기화·불확실성 정량화·라벨 효율적 학습을 위한 회복력 메커니즘을 조망한다. 이어 이러한 진전을 V2X, 무인 항공, 산업 물류, 스마트 시티의 네 가지 운영 도메인과 안전-프라이버시-유용성(safety-privacy-utility) 삼각 관계에 대응시킨다. 벤치마크 포화와 평가 파편화에 대응하기 위해, 본문은 협력 방법의 트레이드오프를 연구 간 비교 가능하게 만드는 성숙도 모델을 갖춘 5기둥 scoring 프로토콜 GCI-Bench를 제안한다. 재현성, sim-to-real 격차, 협력이 성능을 저하시키는 조건에 대한 비판적 성찰을 통해 미해결 과제를 밝히고, 실세계 불확실성 하에서 범용 협력 지능을 향한 방향을 제시한다.

arXiv:2607.24336v1cs.AI공통 태그 Fairness, Autonomous Vehicles

불평등한 여행, 불평등한 장소: 자율주행 차량 플릿 조율에서 지연 불평등의 진단과 완화

Unequal Trips, Unequal Places: Diagnosing and Mitigating Delay Inequity in Autonomous Vehicle Fleet Coordination

도시 규모 자율주행 차량 플릿 코디네이터는 통상 총 여행 시간을 최적화하도록 설계되지만, 플릿 평균은 지연이 여행과 지역에 걸쳐 어떻게 분포되는지를 가린다. 우리는 맨하튼, 시카고, 샌프란시스코의 세 실제 도시 도로망 및 택시 수요 데이터셋에 대해 분포 감사를 수행한다. 이 감사는 도시와 코디네이터에 따라 방향이 달라지는 만연한 여행 길이 불평등을 드러낸다. 여행 길이를 통제한 뒤에는 공간적 불평등이 수요 증가에 따라 더 두드러지며, 여행을 목적지가 아닌 출발지 기준으로 묶을 때 일관되게 더 강해진다. 이러한 결과는 지연된 차량에 제한된 재계획 용량을 할당하고 최근 관측된 대기 압력을 이용해 이들을 우회하는 예산 제약 온라인 조율 프레임워크인 SPatially Aware RErouting(SPARE)을 제안하게 한다. SPARE는 재검토(per-review)마다 의사결정 보장을 제공하며 온라인 경로 갱신을 명시적으로 상한으로 제한한다. 세 데이터셋 모두에서 여섯 개의 대표 베이스라인과 비교한 실험에서 SPARE는 도시 규모 확장성을 유지하면서 효율-공정성 결합 성능이 가장 우수하다. 결과는 상한이 있는 혼잡 반응형 우회가 전체 플릿 재계획 없이도 성능과 형평성을 개선함을 보여준다.

arXiv:2607.21488v1cs.LG공통 태그 Autonomous Vehicles, Multi-agent Reinforcement Learning

신호등 없는 교차로에서 자율주행 차량을 위한 압축 잠재 조율

Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections

신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.