Multi-Agent Vulnerability Discovery for Autonomous Driving with Hazard Arbitration Reward
원문 초록
Discovering hazardous scenarios is crucial in testing and further improving driving policies. However, conducting efficient driving policy testing faces two key challenges. On the one hand, the probability of naturally encountering hazardous scenarios is low when testing a well-trained autonomous driving strategy. Thus, discovering these scenarios by purely real-world road testing is extremely costly. On the other hand, a proper determination of accident responsibility is necessary for this task. Collecting scenarios with wrong-attributed responsibilities will lead to an overly conservative autonomous driving strategy. To be more specific, we aim to discover hazardous scenarios that are autonomous-vehicle responsible (AV-responsible), i.e., the vulnerabilities of the under-test driving policy. To this end, this work proposes a Safety Test framework by finding Av-Responsible Scenarios (STARS) based on multi-agent reinforcement learning. STARS guides other traffic participants to produce Av-Responsible Scenarios and make the under-test driving policy misbehave via introducing Hazard Arbitration Reward (HAR). HAR enables our framework to discover diverse, complex, and AV-responsible hazardous scenarios. Experimental results against four different driving policies in three environments demonstrate that STARS can effectively discover AV-responsible hazardous scenarios. These scenarios indeed correspond to the vulnerabilities of the under-test driving policies, thus are meaningful for their further improvements.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자율주행 적용을 위한 상호작용 정책의 빠른 적응을 목표로 하는 메타 다중 에이전트 강화학습
Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving
본 논문에서는 다중 에이전트 시스템(MAS)에서 상호작용 정책의 빠른 적응을 가능하게 하는 메타 다중 에이전트 강화학습(meta-MARL) 프레임워크를 개발합니다. 메타 강화학습(meta-RL)은 이단계 최적화(bi-level optimization) 메커니즘을 통해 에이전트가 새로운 태스크 및 환경에 빠르게 적응할 수 있도록 지원합니다. 그러나 기존의 메타 강화학습은 일반적으로 단일 에이전트 시스템에 초점을 맞추고 있습니다. 이러한 프레임워크와 알고리즘을 다중 에이전트 시스템으로 확장하는 데는 추가적인 난관이 따르는데, 태스크가 환경뿐만 아니라 에이전트 간의 전략적 상호작용에 의해서도 정의되기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다중 에이전트 강화학습(MARL) 문제를 마르코프 게임(MG)으로 모델링하고 여러 마르코프 게임 분포 전반에서 신속한 상호작용 정책 적응을 달성하는 메타 다중 에이전트 강화학습 프레임워크를 개발합니다. 또한 메타 다중 에이전트 강화학습 문제에서 목표로 하는 해의 개념을 설명하기 위해 메타-내시 균형(meta-NE)이라는 새로운 개념을 정의합니다. 나아가 메타-내시 균형과 그래디언트 플레이 기반 메타 다중 에이전트 강화학습 알고리즘의 정류점(stationary point) 간의 동치성에 대한 충분조건을 확립합니다. 자율주행 태스크를 대상으로 한 평가를 통해 제안된 메타 다중 에이전트 강화학습 방법이 사전학습된 다중 에이전트 강화학습 베이스라인보다 더 빠른 적응을 달성함을 입증하여 프레임워크의 유효성을 검증합니다.
신호등 없는 교차로에서 자율주행 차량을 위한 압축 잠재 조율
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.
TerraZero: 대규모 무시연 셀프 플레이를 위한 절차적 주행 시뮬레이션
TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale
강력한 자율주행 에이전트를 학습하려면, 대규모 강화학습에 충분히 빠르면서 실제 세계 맵 구조에 행동을 그라운딩(grounding)하기에 충분히 사실적이고, 로그 데이터가 거의 담지 못하는 안전 중요 장기 꼬리(long tail)를 커버하기에 충분히 다양한 시뮬레이터가 필요하다. 본 논문은 절차적 주행 시뮬레이터이자 셀프 플레이 학습 스택인 TerraZero를 제시한다. 구성 가능한 C 엔진이 제로 카피(zero-copy) 경로를 통해 CPU에서 시뮬레이션을 실행하고 GPU에서 정책 추론을 수행하며, 단일 서버급 GPU에서 초당 130만 에이전트-스텝(agent-steps)을 유지한다. 이는 기존 객체 수준(object-level) 시뮬레이터보다 훨씬 빠르면서, 경량 단일 에이전트 시스템이 생략하는 충실도를 유지한다: 이종 에이전트, 다중 동역학 모델, 완전한 교통 규칙 집행. TerraZero는 로그 데이터를 실제 세계 맵 지형(map geometry)의 출처로만 취급하며, 각 맵에 무작위 규칙 기반 도로 사용자와 신호 제어기를 배치하고 에피소드마다 에이전트 동역학, 보상, 크기를 무작위화하여 하나의 맵이 무한한 시나리오 집합을 생성하게 한다. 보고된 모든 정책은 GPU 전반에 걸친 연산 효율적인 셀프 플레이 레시피로 강화학습만을 통해 처음부터 학습되며, 인간 시연이 전혀 없고 추론 시 폴백 플래너(fallback planner)도 없다. 정책은 도시와 데이터셋 전반에서 제로샷(zero-shot)으로 일반화되며, 명시적 감독 없이 창발적(emergent) 좌측 통행(left-hand-traffic) 주행을 포함한다. 에고(ego) 정책으로서 TerraZero는 InterPlan 장기 꼬리 벤치마크에서 1위를 차지한 최초의 완전 학습 기반 정책이며, 더 큰 학습형 플래너들보다 앞선다. 일상 주행 val14에서는 최고 수준 접근법 중 하나로 순위에 오르며 가장 안전하여, 충돌 및 충돌까지 시간(time-to-collision) 점수에서 최고를 기록한다. Waymo Open Sim Agents realism에서 동일한 레시피는 다른 시연 없는(demonstration-free) 방법들을 능가하며, 가장 강력한 reference-anchored 셀프 플레이 방법과 경쟁력을 보인다. 하나의 스택이 두 역할을 모두 수행한다: 승용차와 트럭의 동역학에 걸친 주행 정책, 그리고 차량·보행자·자전거를 공동 제어하는 시뮬 에이전트(sim agents).
트윈 인식 연합 강화학습을 통한 자율주행 시스템 보안
Securing Autonomous Vehicle Systems via Twin-Aware Federated Reinforcement Learning
연합 강화학습(FRL)은 원시 데이터를 공유하지 않고 다수의 에이전트에 걸친 협력 학습을 가능하게 함으로써 동적 차량 환경에서의 의사결정 과정에서 프라이버시와 확장성을 향상시키는 데 있어 핵심적이다. 그러나 포이즈닝 공격은 FRL 기반 시스템의 보안과 신뢰성에 심각한 위협을 가하며, 특히 이 취약점이 아직 충분히 탐구되지 않은 안전 필수적 자율주행 분야에서 더욱 그러하다. 이러한 공격은 악의적인 시스템 파라미터를 교묘하게 주입하여 전역 제어 모델을 손상시킴으로써 잠재적 위험을 초래할 수 있다. 이러한 도전 과제에 대응하기 위해, 우리는 안전 필수적 주행 시나리오를 위해 설계된 FRL 시스템의 견고성을 향상시키기 위한 방어 프레임워크로서 \alg(포이즈닝 방지 및 이력 강화를 갖춘 보안 집계)를 제시한다. \alg는 리허설 기반 학습을 위해 디지털 트윈을 전략적으로 통합하고, 과거의 집계된 모델 파라미터와 선택된 중심 그래디언트를 활용하여 양성 데이터만 집계되도록 보장함으로써 악의적 에이전트의 영향을 효과적으로 완화한다. 포이즈닝 공격이 존재하는 상황에서 \alg의 수렴 성능에 대한 이론적 보장이 제공된다. 또한 적대적 조건 하에서 자율주행 차량의 제어를 평가하기 위해 실제적인 고속도로 환경을 모델링하는 개발된 디지털 트윈을 사용하여 \alg의 효과를 검증한다.
자율 주문 피커의 동적 배터리 관리를 위한 심층 강화학습
Deep Reinforcement Learning for Dynamic Battery Management of Autonomous Order Pickers
창고 내 자율 이동 로봇(AMR)의 배터리 충전은 주문 처리 시간과 처리량 모두에 큰 영향을 미치는 핵심 운영 과제입니다. 본 연구에서는 로봇이 최적 충전 결정을 학습해야 하는 확률적 주문 도착 환경에서의 동적 AMR 충전 문제를 다룹니다. 전통적인 고정 규칙 기반 휴리스틱은 동적 환경에서 준최적 결과를 보이는 경우가 많고 다중 AMR 조정을 고려하지 못해 심각한 자원 비효율로 이어집니다. 이러한 한계를 극복하기 위해, 우리는 고정 충전 스테이션이 있는 다중 블록 창고에 특화된 근위 정책 최적화(PPO) 기반 심층 강화학습(DRL) 프레임워크를 제안합니다. 제안 모델은 충전 스테이션 선택과 최적 충전 시간이라는 두 가지 핵심 결정을 동적으로 학습하며, 스테이션에서의 예상 대기 시간을 명시적으로 고려합니다. 광범위한 수치 실험을 통해 제안 모델을 최신 DRL 및 전통적 휴리스틱 접근법과 벤치마크 비교하였습니다. 실험 결과, 제안한 PPO 프레임워크는 가장 강력한 기준선 대비 주문 완료율을 최대 6% 향상시키는 동시에 충전 작업에 소요되는 총 시간을 크게 단축시켰습니다. 또한, 다양한 창고 구성 및 확률적 도착률에 걸쳐 모델의 강건성을 검증하였습니다. 마지막으로, 학습된 DRL 정책을 해석함으로써 표준 벤치마크 대비 우수성에 대한 유용한 운영적 인사이트를 제공합니다.
동적 다중 차량 경로 문제를 위한 보상 밀도 휴리스틱: 성능 및 계산 효율성
Reward-Density Heuristic for Dynamic Multi-Vehicle Routing: Performance and Computational Efficiency
차량 경로 문제(VRP)와 그 변형들은 현대 물류 및 도시 이동성에서 실질적으로 가장 중요한 최적화 과제 중 하나이다. 본 연구에서는 VRP와 오리엔티어링 문제(OP)의 요소를 결합한 동적 온라인 변형을 다루며, 차량 집단이 새로운 작업이 지속적으로 도착하는 상황에서 실시간으로 재계획을 수행하면서 고정된 시간 지평선 내에 수집되는 누적 보상을 최대화해야 한다. 본 연구는 동적 다중 차량 할당을 위한 보상 밀도 휴리스틱을 제안하고 평가하며, 이를 Efficiency 휴리스틱이라 칭한다. 자율 드론 작업 할당과 도시 택시 배차라는 두 가지 응용 도메인에서 다양한 차량 집단 규모 및 작업 규모에 걸쳐 이 방법을 평가한다. 제안된 방법은 네 가지 고전적 구성 휴리스틱과 세 가지 메타휴리스틱 알고리즘(적응형 대규모 이웃 탐색(Adaptive Large Neighbourhood Search), 유전 알고리즘(Genetic Algorithm), 시뮬레이티드 어닐링(Simulated Annealing))과 동일한 조건 하에 비교된다. 테스트된 모든 구성에서 Efficiency 휴리스틱은 최고의 메타휴리스틱 알고리즘과 동등한 솔루션 품질을 달성하면서도 계획 시간은 2~3 자릿수 더 적게 요구하여, 보상 대 계산량 프론티어에서 모든 경쟁 방법에 대해 파레토 지배(Pareto dominance)를 확립한다. 이러한 결과는 실시간 할당 및 배차 시스템을 위한 실용적인 설계 원칙을 시사한다: 동적이고 시간 제약이 있는 경로 환경에서, 신중하게 설계된 탐욕적 휴리스틱은 정교한 탐색 절차와 대등한 결과를 계산 비용의 극히 일부만으로 달성할 수 있으며, 이로 인해 온라인 배포에 더 적합하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.