자율주행차의 집합적 경로 선택에는 인간 운전자와의 공존을 위한 사회적 인식이 필요하다
Collective Autonomous Vehicle Routing Needs Social Awareness for Coexistence with Human Drivers
한국어 초록
실제 교통 네트워크에서 자율주행차(AV)의 집합적 경로 선택은 인간 운전 차량(HDV)에 외부효과를 유발할 수 있는데, AV에게 유리한 경로가 다른 도로 이용자의 통행 시간을 증가시킬 수 있기 때문이다. 이를 해결하기 위해 우리는 이기적인 통행 시간 기반 AV 보상에 사회적 요소인 한계 비용(marginal cost)을 도입한다. 한계 비용은 해당 AV를 제거한 반사실적(counterfactual) 시뮬레이션에서의 통행 시간과 비교하여, 해당 AV가 다른 도로 이용자에게 미치는 영향을 포착한다. 우리는 다중 에이전트 강화학습(Multi-Agent Reinforcement Learning, MARL)을 사용하여 혼합 자율주행(mixed-autonomy) 교통 환경에서 AV의 경로 선택을 연구하며, 여기서 AV는 교통 환경과의 반복적인 상호작용을 통해 경로 선택 정책을 학습한다. Ingolstadt와 Provins의 실제 네트워크에 대한 실험 결과, 한계 비용을 AV 보상에 포함하면 이기적인 AV 경로 선택에 비해 HDV 통행 시간 증가를 제한하고 AV 통행 시간을 단축할 뿐만 아니라, 전체 시스템 성능도 향상되는 것으로 나타났다. Ingolstadt에서 AV 40%의 이기적인 경로 선택은 다른 차량의 통행 시간을 1.7% 증가시키지만, 사회적 보상을 포함하면 이 수치는 1.1%로 감소한다. 흥미롭게도 전체 시스템 성능이 향상될 뿐만 아니라, AV 자신도 사회적으로 행동할 때 더 나은 결과를 얻는다. 이러한 효과는 실험 대상 도시, 보급률(penetration rate), 반복 실험 전반에 걸쳐 일관되게 나타나지만, 보상에서 사회적 요소의 가중치가 증가하면 시스템이 원하는 성능에 도달하지 못한다. 혼합 자율주행 교통에서 사회적 AV 경로 선택을 보다 확장 가능하게 만들기 위해, 우리는 교통 시스템에 가장 큰 영향을 미치는 경로 선택을 하는 AV에 대해서만 한계 비용을 계산한다. 이를 통해 반사실적 시뮬레이션의 횟수를 줄이면서도 훨씬 낮은 계산 비용으로 유사한 성능을 달성한다. 우리의 결과는 AV 경로 선택이 이기적인 보상을 넘어, 모든 교통 참여자의 이익을 위해 목적 함수에 사회적 요소를 포함해야 함을 시사한다.
원문 초록
Collective Autonomous Vehicle (AV) route choices in real-world traffic networks can create externalities for Human-Driven Vehicles (HDVs), as routes that benefit AVs may increase travel times for other road users. To address this, we introduce a social component, the marginal cost, to the selfish travel time AV reward. Marginal cost captures an AV's impact on other road users by comparing their travel times with those in a counterfactual simulation in which the AV is removed. We study AV route choice in mixed-autonomy traffic settings using Multi-Agent Reinforcement Learning (MARL), where AVs learn routing policies through repeated interactions with the traffic environment. Experiments on the real-world networks of Ingolstadt and Provins show that incorporating marginal cost into the AV reward not only limits the increase in HDV travel times and shortens AV travel times relative to selfish AV routing, but also improves overall system performance. In Ingolstadt, selfish routing of 40\% AVs increases the travel times of other vehicles by 1.7\%, and this drops to 1.1\% when the social reward is included. Interestingly, not only does overall system performance improve, but the AVs are also better off when acting socially.This effect is consistent across tested cities, penetration rates, and replications, yet when the weight of the social component in the reward increases, the system fails to reach the desired performance. For a more scalable approach to social AV routing in mixed-autonomy traffic, we compute the marginal cost only for the AVs whose route choices most affect the traffic system. This reduces the number of counterfactual simulations and achieves similar performance at a significantly lower computational cost. Our results suggest that AV routing should go beyond selfish rewards and, for the benefit of all traffic participants, include a social component in its objective.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
범용 협력 지능: 회복력 있는 다중 에이전트 생태계를 위한 인지 아키텍처
General Collaborative Intelligence: Architecting Cognition for Resilient Multi-Agent Ecosystems
다중 에이전트 무인 시스템은 고립된 자기 중심적 sensing에서 협력 지능으로 이동하고 있으며, 분산 에이전트들이 압축된 특징(feature)을 교환하여 어떤 단일 에이전트도 벗어날 수 없는 국소 관측의 함정—가림(occlusion), 유한한 센서 범위, 환경 열화—to overcome. 해당 분야는 아키텍처, 통신, embodied, 회복력(resilience), 신뢰 차원에서 성숙해 왔지만, 기존 서베이는 이러한 차원을 각각 따로 다루며 그 의존 관계를 거의 드러내지 않는다. 본 리뷰는 두 가지 상보적 렌즈를 통해 통합적 종합을 제시한다. 첫째는 협력 단계, 통신 패러다임, 융합 아키텍처, 학습 전략, 응용 도메인에 걸친 5차원 분류체계이다. 둘째는 인지적 시너지를 운영 기준으로 전환하는 세 가지 인지적 시너지 조건—의미적 모호성 해소(Semantic Disambiguation), 화용론적 정보 교환(Pragmatic Information Exchange), 선제적 정보 탐색(Proactive Informational Foraging)—이다. 이러한 렌즈를 통해 협력 아키텍처와 토폴로지, 채널을 미분 가능한 파이프라인 구성요소로 다루는 신경-통신 공동 설계(neural-communication co-design), 다중 에이전트 강화학습을 통한 embodied 행동-지각 루프, 동기화·불확실성 정량화·라벨 효율적 학습을 위한 회복력 메커니즘을 조망한다. 이어 이러한 진전을 V2X, 무인 항공, 산업 물류, 스마트 시티의 네 가지 운영 도메인과 안전-프라이버시-유용성(safety-privacy-utility) 삼각 관계에 대응시킨다. 벤치마크 포화와 평가 파편화에 대응하기 위해, 본문은 협력 방법의 트레이드오프를 연구 간 비교 가능하게 만드는 성숙도 모델을 갖춘 5기둥 scoring 프로토콜 GCI-Bench를 제안한다. 재현성, sim-to-real 격차, 협력이 성능을 저하시키는 조건에 대한 비판적 성찰을 통해 미해결 과제를 밝히고, 실세계 불확실성 하에서 범용 협력 지능을 향한 방향을 제시한다.
신호등 없는 교차로에서 자율주행 차량을 위한 압축 잠재 조율
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.
협력형 다중 AUV 시스템을 위한 작업 지향 감지 및 은밀 전송
Task-Oriented Sensing and Covert Transmissions for Collaborative Multi-AUV Systems
수중 은밀 협력 임무에서 자율 수중 로봇(AUV)은 능동 소나에 의존해 지속적으로 완전한 정보를 얻을 수 없는 경우가 많다. 능동 감지와 빈번한 통신은 노출 위험을 높이기 때문이다. 결과적으로 AUV는 주로 수동 관측에 의존하며, 이 접근은 불완전한 국소 지각과 제한된 작업 효율을 초래한다. 수중 음향 통신은 정보 공유를 통해 이 한계를 완화할 수 있지만, 동시에 긴 지연, 심각한 간섭, 낮은 신뢰성, 은밀 노출 위험으로 제약받는다. 기존 통신 지향 다중 에이전트 강화학습(MARL) 연구는 통신을 이상적인 정보 흐름으로 모델링하는 경우가 많고, 전통적인 통신 최적화는 주로 링크 수준 성능에 초점을 맞춘다. 그러나 둘 다 은밀한 물리적 통신의 현실적 조건 하에서 협력 작업에 대한 지각 정보의 실제 기여를 특성화하기에는 불충분하다. 본 논문은 실용적 정보를 활용해 협력 작업에 대한 정보의 유용성을 특성화하고, 현실적인 통신 및 은밀 제약 하에서 분산 협력 정책을 학습하는 Sensed Information Value Realization Multi-Agent Reinforcement Learning(SVR-MARL) 프레임워크를 제안한다. 은밀 다중 AUV 협력 위치 추정 및 추적에 대한 사례 연구를 통해, 불필요한 통신과 노출 위험을 줄이면서 협력 작업 효율을 개선할 수 있는 제안 프레임워크의 잠재력을 보여준다.
Engineering Reliable Autonomous Systems: Challenges and Solutions
Decentralized Coordination of Autonomous Traffic Through Advanced Air Mobility Corridors
TRIDENT: 증명 가능한 안전성을 갖는 다중 에이전트 강화학습을 위한 하이브리드-안전성-물리 결합 해제
TRIDENT: Breaking the Hybrid-Safety-Physics Coupling for Provably Safe Multi-Agent Reinforcement Learning
네트워크 사이버-물리 시스템에서의 안전한 조율은 학습 알고리즘이 하이브리드 이산-연속 행동, 엄격한 학습 시간 안전성 제약 조건, 그리고 물리 기반 역학을 동시에 처리하도록 강요합니다. 우리는 이 세 가지 특징이 기성 모듈의 단순한 조합을 무력화시키는 바이어스(bias)의 유향 순환을 형성함을 보이고, 이를 3중 결합 보조정리(lemma)로 공식화합니다. 그 후 우리는 각 누수(leak)를 상쇄하도록 세 가지 구성 요소가 공동 설계된 최초의 MARL(다중 에이전트 강화학습) 프레임워크인 TRIDENT를 소개합니다: Gumbel-Softmax 바이어스(bias)를 O(tau)에서 O(tau^2)로 줄이는 Richardson-Romberg 그래디언트(gradient) 보정, 각 반복의 실행 가능성을 강제하는 Lyapunov 제약 순차적 신뢰 영역(trust-region) 업데이트, 그리고 보상(reward) 대신 가치(value)를 분해하는 물리 정보 잔여 비평가(critic)입니다. 우리는 제약된 내시 균형으로의 O~(1/sqrt(K)) 수렴(convergence) 속도와 O(sqrt(K)) 누적 위반 상한을 증명합니다. 다중 UAV 모바일 엣지 컴퓨팅, 자율 교차로 관리, 하이브리드 SMAC 변형에서 TRIDENT는 MADDPG 대비 학습(training) 시간 위반을 95.5%, MACPO 대비 76.3% 줄이면서, 가장 강력한 무제약 기준선(baseline) 대비 보상(reward)을 13.5% 개선했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.