Taming Equilibrium Bias in Risk-Sensitive Multi-Agent Reinforcement Learning
원문 초록
We study risk-sensitive multi-agent reinforcement learning under general-sum Markov games, where agents optimize the entropic risk measure of rewards with possibly diverse risk preferences. We show that using the regret naively adapted from existing literature as a performance metric could induce policies with equilibrium bias that favor the most risk-sensitive agents and overlook the other agents. To address such deficiency of the naive regret, we propose a novel notion of regret, which we call risk-balanced regret, and show through a lower bound that it overcomes the issue of equilibrium bias. Furthermore, we develop a self-play algorithm for learning Nash, correlated, and coarse correlated equilibria in risk-sensitive Markov games. We prove that the proposed algorithm attains near-optimal regret guarantees with respect to the risk-balanced regret.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
JANUS: 장기 지평 에이전트 안전을 위한 잠재적 위험 예견
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.
도달 가능성 목표를 갖는 턴 기반 확률적 게임에서의 PAC 학습: 기대 조건부 거리를 통한 분산형 사적 접근
PAC Learning in Turn-Based Stochastic Games with Reachability Objectives: A Decentralized Private Approach via Expected Conditional Distance
도달 가능성(reachability)은 가장 기본적인 논리적 목표이지만, 강화학습(reinforcement learning) 설정에서 학습하기가 악명 높게 어렵다. 마르코프 결정 과정(Markov decision process)의 경우에도 추가 가정 없이는 도달 가능성의 PAC 학습이 불가능하다. 이러한 어려움은 유한 상태 공간에서 두 적대적 플레이어가 상호작용하는 턴 기반 확률적 게임(turn-based stochastic game, TBSG)에서도 마찬가지다. 본 연구에서는 도달 가능성 목표를 갖는 턴 기반 확률적 게임을 다룬다. 이러한 설정에서 학습 단계에서도 플레이어가 적대적인 적대적 학습(adversarial learning)은 불가능하다. 따라서 목표는 두 플레이어가 함께 알려지지 않은 모델을 학습하는 학습 방식을 고려하는 것이다. 이러한 취지에서, TBSG에서 PAC 학습에 관한 기존 문헌은 (a) 두 플레이어가 공유하는 공개 정보(public information); (b) 플레이어가 동일한 학습 알고리즘을 공유하는 중앙집중식 학습(centralized learning)을 고려한다. 본 연구의 기여는 두 가지이다. 첫째, 이러한 강한 가정을 완화하고 다음을 만족하는 학습을 보장한다: (i) 다른 플레이어와 공유되지 않는 사적 정보(private information)를 사용하는 학습; (ii) 플레이어가 동일한 학습 알고리즘을 공유하지 않는 분산형 학습(decentralized learning). 우리가 아는 한, 본 연구는 도달 가능성 목표를 갖는 TBSG에 대한 분산형 및 사적 정보 학습의 최초의 긍정적 결과이다. 둘째, 목표 집합에 도달하기까지의 기대 길이를 측정하는 기대 조건부 거리(Expected Conditional Distance, ECD) 매개변수의 게임 이론적 일반화를 도입한다. 우리는 상태 수, 행동 수, ECD 매개변수, 오차 허용치와 실패 확률의 역수에 대해 다항식 샘플 복잡도(polynomial-sample complexity) 상한을 확립한다.
복잡한 행동 공간에 대한 행동 인수분해 재고찰
Revisiting Action Factorization for Complex Action Spaces
많은 실제 제어 문제는 하이브리드 이산-연속 행동 공간을 포함한다. 예를 들어, 자율주행에서의 조향 및 신호 처리, 로봇공학 또는 비디오 게임에서의 조준 및 발사 등이 이에 해당한다. 복잡한 행동 공간을 지원하는 실제 하이브리드 인수분해 및 강화학습 프레임워크(예: Gymnasium, PettingZoo, TorchRL, SeedRL, Mujoco 등)가 존재함에도 불구하고, 해당 프레임워크 내의 기본 환경들은 대부분 균일한 행동 공간 구성(LunarLander, Walker2D, Cheetah, SMAC, SUMO, Ant, Atari)을 구현한다. 주요 하이브리드 행동 벤치마크(RoboCup 2D HFO, SC2LE, Platform, CARLA 등)는 대부분 하나 또는 소수의 경쟁하는 인수분해 방법을 단일 종류의 제어에 대해 테스트한 논문에서 비롯된 대규모 또는 구형 구현이다. 본 논문은 네 가지 경량 환경[Platform, hybrid-LunarLander, Hybrid-Shoot, CoopPush]에 걸쳐 세 가지 행동 공간[이산화, 하이브리드, 연속]에서 세 가지 알고리즘 계열[PPO, SAC, DQN] 각각에 대해 인수분해 방법[독립 네트워크, 공유 인코더, VDN, QPLEX, Joint, Auto-Regressive]의 횡단면 연구를 제공한다. joint-continuous와 같은 일부 유효하지 않은 쌍을 제외하면, 각 방법을 분석하기 위한 220개의 구성이 남는다. 상태 의존적 행동 간 의존성과 같은 특정 과제를 분리하기 위해 두 가지 새로운 C++ 병렬 gymnasium 및 petting-zoo 호환 환경[CoopPush, Hybrid-Shoot]을 제공한다. 마지막으로, 멀티 헤드 PPO에 크레딧을 할당하기 위해 분기 크리틱(branching critic)을 사용하는 VDN-PPO와 PPO-MIX를 소개한다. 이 변형들은 테스트된 다른 모든 PPO 인수분해 방법보다 우수한 성능을 보인다. 연구 결과, 분기 듀얼링 아키텍처가 계산 비용과 성능을 가장 효과적으로 균형잡으며, Auto-Regressive 행동이 전체적으로 가장 높은 성능에 도달하고, 네이티브 연속 SAC가 이산 및 하이브리드 알고리즘보다 우수한 성능을 보이지만 두 방법 모두 계산 비용이 증가함을 시사한다.
RevengeBench: 행동 실험을 통한 코드 공간 정책의 역공학
RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments
과학사의 대부분에서 행동을 연구하는 연구자들은 외부 행동으로부터 숨겨진 메커니즘만을 추론할 수 있었다. 이는 관찰에 목표 지향적 개입이 더해질 때 더 다루기 쉬워지는 역문제(inverse problem)이다. 우리는 이에 대한 계산적 유사 문제를 제시한다: 게임 환경에서 에이전트의 행동 궤적만이 주어졌을 때, 학습자가 기저 결정 프로그램을 실행 가능한 코드로 재구성할 수 있는가, 그리고 통제된 실험을 설계하는 능력이 있을 때 이 재구성이 얼마나 향상되는가? 우리는 CodeClash 토너먼트 궤적에서 추출한, 5개의 게임 환경에 걸쳐 75개의 대규모 언어 모델(LLM) 생성 및 Elo 교정 정책으로 구성된 벤치마크 RevengeBench를 제안한다. 학습자는 숨겨진 목표 정책이 샘플링된 상대방과 대결하는 것을 관찰하고, 유익한 행동을 유도하는 맞춤형 상대방 정책 형태의 행동 탐침(behavioral probe)을 설계한다. 이후 실행 가능한 가설을 제출하며, 이는 연속적 행동 거리 메트릭을 사용하여 평가된다. 또한 복원된 코드가 플레이어 대 플레이어 토너먼트의 다운스트림(downstream) 과정에서 유익한 신호를 전달한다는 것을 추가로 검증한다. 12개의 최전선 LLM에 걸쳐 복원 품질은 상당한 차이를 보이며(초기 거리의 34~72% 감소), 재구성된 정책은 측정 가능한 경쟁적 이점을 제공하는데, 이는 특히 효과적인 대항 전략을 설계하는 데 어려움을 겪는 약한 모델에서 두드러진다. 본 벤치마크는 프로그래밍 정책의 행동 복원을 코드 공간에서의 다루기 쉬운 역문제로 자리매김하여, 상대방 모델링(opponent modeling), 정책 해석 가능성(policy interpretability), 그리고 관찰로부터 잠재적 메커니즘을 추론하는 더 넓은 연구 분야로의 길을 열어준다.
Using Fuzzy Logic to Learn Abstract Policies in Large-Scale Multi-Agent Reinforcement Learning
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
토론
이 논문과 연결된 포럼 글이 아직 없습니다.