Learning to Model Diverse Driving Behaviors in Highly Interactive Autonomous Driving Scenarios with Multi-Agent Reinforcement Learning
원문 초록
Autonomous vehicles trained through Multi-Agent Reinforcement Learning (MARL) have shown impressive results in many driving scenarios. However, the performance of these trained policies can be impacted when faced with diverse driving styles and personalities, particularly in highly interactive situations. This is because conventional MARL algorithms usually operate under the assumption of fully cooperative behavior among all agents and focus on maximizing team rewards during training. To address this issue, we introduce the Personality Modeling Network (PeMN), which includes a cooperation value function and personality parameters to model the varied interactions in high-interactive scenarios. The PeMN also enables the training of a background traffic flow with diverse behaviors, thereby improving the performance and generalization of the ego vehicle. Our extensive experimental studies, which incorporate different personality parameters in high-interactive driving scenarios, demonstrate that the personality parameters effectively model diverse driving styles and that policies trained with PeMN demonstrate better generalization compared to traditional MARL methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
신호등 없는 교차로에서 자율주행 차량을 위한 압축 잠재 조율
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
신호등 없는 교차로에서 자율주행 차량을 조율하는 것은 다중 에이전트 강화학습(MARL) 시스템에 있어 여전히 중요한 과제이며, 이러한 시스템은 일반적으로 조합적 행동 공간, 특권 정보에 대한 의존, 또는 경직된 에이전트 설계로 어려움을 겪는다. 우리는 중앙집중식 Master 에이전트가 전역 조율 전략을 인코딩하는 proto-plan이라고 부르는 압축된 연속 임베딩을 생성하는 계층적 심층 강화학습(DRL) 아키텍처인 Master-Agent Proto-plan System(MAPS)을 제안한다. 분산 Worker 에이전트는 이 임베딩을 지역 관측과 통합하여 차량별 제어를 수행하며, 전략적 의도와 전술적 실행을 분리하고 각 모듈의 독립적 최적화를 가능하게 한다. 이 조율 메커니즘에 대한 개념 증명 평가로, HighwayEnv에서 72가지 교차로 구성에 걸쳐 MAPS를 테스트한다. MAPS는 최신 베이스라인을 능가하며 평균 이동 시간을 크게 줄이면서 충돌 없는 주행을 달성한다. 학습된 proto-plan은 또한 견고한 일반화를 보인다: 3개 에이전트로 학습된 시스템이 5개 에이전트 시나리오에 제로샷(zero-shot)으로 배포될 때 94%의 성공률을 달성하여, proto-plan 기반 계층적 학습이 다중 차량 조율을 위한 유망한 프레임워크임을 확인한다.
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
자율주행차의 집합적 경로 선택에는 인간 운전자와의 공존을 위한 사회적 인식이 필요하다
Collective Autonomous Vehicle Routing Needs Social Awareness for Coexistence with Human Drivers
실제 교통 네트워크에서 자율주행차(AV)의 집합적 경로 선택은 인간 운전 차량(HDV)에 외부효과를 유발할 수 있는데, AV에게 유리한 경로가 다른 도로 이용자의 통행 시간을 증가시킬 수 있기 때문이다. 이를 해결하기 위해 우리는 이기적인 통행 시간 기반 AV 보상에 사회적 요소인 한계 비용(marginal cost)을 도입한다. 한계 비용은 해당 AV를 제거한 반사실적(counterfactual) 시뮬레이션에서의 통행 시간과 비교하여, 해당 AV가 다른 도로 이용자에게 미치는 영향을 포착한다. 우리는 다중 에이전트 강화학습(Multi-Agent Reinforcement Learning, MARL)을 사용하여 혼합 자율주행(mixed-autonomy) 교통 환경에서 AV의 경로 선택을 연구하며, 여기서 AV는 교통 환경과의 반복적인 상호작용을 통해 경로 선택 정책을 학습한다. Ingolstadt와 Provins의 실제 네트워크에 대한 실험 결과, 한계 비용을 AV 보상에 포함하면 이기적인 AV 경로 선택에 비해 HDV 통행 시간 증가를 제한하고 AV 통행 시간을 단축할 뿐만 아니라, 전체 시스템 성능도 향상되는 것으로 나타났다. Ingolstadt에서 AV 40%의 이기적인 경로 선택은 다른 차량의 통행 시간을 1.7% 증가시키지만, 사회적 보상을 포함하면 이 수치는 1.1%로 감소한다. 흥미롭게도 전체 시스템 성능이 향상될 뿐만 아니라, AV 자신도 사회적으로 행동할 때 더 나은 결과를 얻는다. 이러한 효과는 실험 대상 도시, 보급률(penetration rate), 반복 실험 전반에 걸쳐 일관되게 나타나지만, 보상에서 사회적 요소의 가중치가 증가하면 시스템이 원하는 성능에 도달하지 못한다. 혼합 자율주행 교통에서 사회적 AV 경로 선택을 보다 확장 가능하게 만들기 위해, 우리는 교통 시스템에 가장 큰 영향을 미치는 경로 선택을 하는 AV에 대해서만 한계 비용을 계산한다. 이를 통해 반사실적 시뮬레이션의 횟수를 줄이면서도 훨씬 낮은 계산 비용으로 유사한 성능을 달성한다. 우리의 결과는 AV 경로 선택이 이기적인 보상을 넘어, 모든 교통 참여자의 이익을 위해 목적 함수에 사회적 요소를 포함해야 함을 시사한다.
TerrainForge: 반사실적 자율주행을 위한 물리 기반 도로 기하학 편집
TerrainForge: Physics-Grounded road geometry Editing for Counterfactual Autonomous Driving
도로 기하학(예: 정점부, 오목부, 과속방지턱)과 노면 상태(예: 젖어 있거나 빙판인 노면)는 차량의 움직임, 운전자와 온보드 카메라의 시야, 차량 간 여유 거리(clearance)에 영향을 미칩니다. 따라서 주행 장면에서 이러한 속성을 편집하려면 이에 상응하는 차량 움직임의 변화가 수반되어야 합니다. 주행 비디오에서 이러한 차이를 포착하려면 도로 편집 내용이 차량 움직임, 카메라 시점, 차량 간 여유 거리로 전파되어야 합니다. 본 논문에서는 재구성된 다중 차량 주행 에피소드로부터 도로 기하학 중심의 반사실적(counterfactual) 시나리오를 생성하는 프레임워크인 TerrainForge를 제시합니다. 통합 도로 모델(model)은 장면 변형을 4륜 차량 동역학과 연결하여 정점부, 오목부, 과속방지턱, 마찰력 변화가 차량 움직임, 카메라 시점 및 차량 간 여유 거리로 전파될 수 있도록 합니다. 차량 동역학은 CarSim을 기준으로 평가되었으며, 규정된 도로 기하학은 재구성된 Waymo 장면에서 검증되었습니다. 18개의 에피소드에 걸쳐 주변 차량의 반응을 재계산하는 대신 기록된 궤적에 그대로 둘 경우, 예측된 자차-선행 차량 간 거리의 중앙값 피크 차이는 정점부에서 1.52m, 오목부에서 1.41m로 나타났습니다. 나아가 983개의 제동 에피소드에 걸친 15,758개의 도로 편집에 대해 자차의 반응을 시뮬레이션하고, 각 편집을 편집되지 않은 재생 대비 안전성(safety) 결과와 쌍으로 구성했습니다. 이 쌍들을 통해 원래 주행 컨텍스트와 후보 도로 편집 파라미터를 입력으로 받아 자차의 최종 간격(terminal gap) 변화를 예측하는 1단계 선별 대리(surrogate) 모델을 학습시킵니다. 홀드아웃(held-out) 장면에서 이 예측은 변화가 없다고 예측하는 기준 대비 22-40% 더 낮은 평균 절대 오차를 달성하므로, 전체 다중 차량 롤아웃(rollout)을 수행하기 전에 후보군을 저비용으로 선별할 수 있습니다.
자율주행 적용을 위한 상호작용 정책의 빠른 적응을 목표로 하는 메타 다중 에이전트 강화학습
Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving
본 논문에서는 다중 에이전트 시스템(MAS)에서 상호작용 정책의 빠른 적응을 가능하게 하는 메타 다중 에이전트 강화학습(meta-MARL) 프레임워크를 개발합니다. 메타 강화학습(meta-RL)은 이단계 최적화(bi-level optimization) 메커니즘을 통해 에이전트가 새로운 태스크 및 환경에 빠르게 적응할 수 있도록 지원합니다. 그러나 기존의 메타 강화학습은 일반적으로 단일 에이전트 시스템에 초점을 맞추고 있습니다. 이러한 프레임워크와 알고리즘을 다중 에이전트 시스템으로 확장하는 데는 추가적인 난관이 따르는데, 태스크가 환경뿐만 아니라 에이전트 간의 전략적 상호작용에 의해서도 정의되기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다중 에이전트 강화학습(MARL) 문제를 마르코프 게임(MG)으로 모델링하고 여러 마르코프 게임 분포 전반에서 신속한 상호작용 정책 적응을 달성하는 메타 다중 에이전트 강화학습 프레임워크를 개발합니다. 또한 메타 다중 에이전트 강화학습 문제에서 목표로 하는 해의 개념을 설명하기 위해 메타-내시 균형(meta-NE)이라는 새로운 개념을 정의합니다. 나아가 메타-내시 균형과 그래디언트 플레이 기반 메타 다중 에이전트 강화학습 알고리즘의 정류점(stationary point) 간의 동치성에 대한 충분조건을 확립합니다. 자율주행 태스크를 대상으로 한 평가를 통해 제안된 메타 다중 에이전트 강화학습 방법이 사전학습된 다중 에이전트 강화학습 베이스라인보다 더 빠른 적응을 달성함을 입증하여 프레임워크의 유효성을 검증합니다.
Teach-to-Crash: 충돌 유발 테스트 시나리오 생성을 위한 폐루프 학생-교사 LLM 프레임워크
Teach-to-Crash: A Closed-Loop Student-Teacher LLM Framework for Collision-Inducing Test Scenario Generation
시뮬레이션에서 자율주행 시스템(ADS)을 검증하려면, 희귀하고 안전에 중요한(safety-critical) 실패를 발견하면서 실행 가능하고 다양하며 후속 실패 분석에 유용한 시나리오를 생성할 수 있는 테스트 아키텍처가 필요하다. 본 논문은 제약된 ego 중심 시나리오 표현, 정체(stagnation) 인식 검색 제어, 적응형 실패 탐색을 위한 이중 LLM 아키텍처를 결합한 폐루프 테스트 프레임워크 Teach-to-Crash를 제안한다. 고추론 Teacher LLM은 적응형 검색 제어기 역할을 하고, 저추론 Student LLM은 엄격한 JSON 스키마로 시뮬레이터에서 실행 가능한 시나리오를 출력한다. Teacher는 rolling collision rate와 time-to-collision 지표가 정체될 때만 개입하여 검색을 재방향할 전략적 지침을 제공한다. ego 차량의 속도 정책을 달리한 두 실험 설정으로 수행한 CARLA 사례 연구에서 Teach-to-Crash는 최고 Collision Hit Rate(90.79%), 최단 평균 Time-to-Collision(18.31 s), 경쟁력 있는 Collision Discovery Rate(136.21)를 달성했다. PAFOT은 더 높은 평균 CDR(179.44)을 기록했으나 분산이 훨씬 컸다. Teach-to-Crash는 또한 최고 다양성(0.547)과, CARLA Traffic Manager 컨트롤러 기준 두 설정을 평균했을 때 비교 방법 중 avoidability 기반 유용성 proxy가 가장 높았다(60.04%). 평가된 CARLA 범위 내에서 이러한 결과는, 폐루프 이중 LLM 추론이 제약된 실행 가능 프로그램 공간 위에서 적대적 시뮬레이션 기반 테스트를 조향하여 빈번하고 구조적으로 다양하며 더 자주 회피 가능한 것으로 평가되는 실패를 생성할 수 있음을 보여 준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.