Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation
원문 초록
We consider model-based multi-agent reinforcement learning, where the environment transition model is unknown and can only be learned via expensive interactions with the environment. We propose H-MARL (Hallucinated Multi-Agent Reinforcement Learning), a novel sample-efficient algorithm that can efficiently balance exploration, i.e., learning about the environment, and exploitation, i.e., achieve good equilibrium performance in the underlying general-sum Markov game. H-MARL builds high-probability confidence intervals around the unknown transition model and sequentially updates them based on newly observed data. Using these, it constructs an optimistic hallucinated game for the agents for which equilibrium policies are computed at each round. We consider general statistical models (e.g., Gaussian processes, deep ensembles, etc.) and policy classes (e.g., deep neural networks), and theoretically analyze our approach by bounding the agents' dynamic regret. Moreover, we provide a convergence rate to the equilibria of the underlying Markov game. We demonstrate our approach experimentally on an autonomous driving simulation benchmark. H-MARL learns successful equilibrium policies after a few interactions with the environment and can significantly improve the performance compared to non-optimistic exploration methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
Multi-Step Reinforcement Learning for Single Image Super-Resolution
Multirobot Coverage of Modular Environments
SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해
SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.
SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬
SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models
주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.
때로는 걷기 전에 뛰어야 한다: VLM 자율주행을 위한 Run-then-Walk 스케줄링 전략
Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving
최근 비전-언어 모델(VLM) 기반 자율주행 플래너는 주행 성능을 최적화하기 위해 GRPO 방식의 강화학습(RL)을 도입하고 있습니다. 그러나 기존 GRPO 방식은 주행 효율성만을 최적화하여 주행 진행은 추구하되 안전하지 않은 동작을 유발하거나, 초기에 안전 제약을 강제하여 지나치게 보수적인 동작으로 이어지며, 두 방식 모두 긴 학습 시간을 필요로 합니다. 이러한 문제를 해결하기 위해, 본 논문은 먼저 두 가지 뚜렷한 강화학습 체제를 밝혀냅니다. 즉, 높은 주행 진행을 적극적으로 탐색하는 진행 체제(Run-GRPO)와 안정적인 진행 상황에서 안전성을 회복하는 안전 체제(Walk-GRPO)입니다. 이러한 발견을 바탕으로, 더 우수한 성능과 더 빠른 수렴을 모두 달성하는 단순하면서도 효과적인 2단계 GRPO 보상 스케줄링 전략인 Run-then-Walk를 제안합니다. 단일 학습 단계 내에서 진행, 안전, 또는 둘의 혼합에 집중할 수 있는 1단계 강화학습과 달리, 이 스케줄은 진행 탐색과 안전성 복구를 명시적으로 분리합니다. Run 단계에서는 진행에 집중하여 정책(policy)이 보수적 바이어스에서 벗어나 높은 진행 모드를 발견할 수 있도록 합니다. 이어지는 Walk 단계에서는 종점 및 안전 전략을 도입하여 Run 단계에서 발생한 불안전한 동작을 복구합니다. 이러한 역순 스케줄은 Walk 우선 방식의 보수성과 공동 최적화 방식의 불안전한 진행 추구 문제를 극복합니다. 본 연구는 NAVSIMv1, NAVSIMv2, Navhard, nuScenes 등 다양한 벤치마크에서 여러 VLM 기반 플래너를 통해 이를 검증합니다. 광범위한 실험을 통해 베이스라인 대비 40~50% 적은 강화학습 학습 에포크(epoch)만을 요구하면서도 향상된 주행 성능을 입증합니다. 코드는 https://github.com/haha-yuki-haha/AutoDrive-P3_with_Run-then-walk 에서 제공됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.