arXiv:2610.15932v1 cs.LG

DiffNash: 확산 정책을 활용한 고차원 연속 행동 공간에서의 내시 균형 탐색

DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies

Haichuan Wang, Anagha Satish, Jiale Zheng, Saisneha Ghatti, Lingkai Kong, Kai Wang, Milind Tambe

제출 2026-10-11

저자 비고

arXiv Comments

41 pages, 11 figures

한국어 초록

고차원 연속 게임에서 균형(equilibrium)을 계산하려면 풍부한 다봉(multi-modal) 전략 분포를 학습하고 표현해야 하지만, 기존의 신경망 정책으로는 이를 달성하기 어렵습니다. 확산 모델(diffusion model)은 자연스러운 해결책을 제공하지만, 표준 확산 학습(training)은 고정된 목표 분포로부터의 직접적인 샘플을 필요로 하며, 이는 반복적인 게임 해결 업데이트 과정에서는 일반적으로 얻기 어렵습니다. 본 논문에서는 온라인 미러 하강법(OMD) 및 가상 플레이(FP)의 확산 기반 변형을 가능하게 하는 균형 계산용 확산 기반 프레임워크를 제안합니다. 제안하는 접근법은 각 업데이트된 정책으로부터 직접 샘플을 추출할 필요 없이 확산 정책을 학습시키는 재가중(reweighted) 스코어 매칭 목적식을 유도합니다. 본 연구의 핵심 방법론인 DiffNash는 리플레이 버퍼를 통해 과거 행동을 재사용함으로써 OMD의 빠른 수렴(convergence)과 FP의 샘플 효율성을 결합합니다. 샘플 재사용으로 인해 발생하는 분포 변화(distribution shift)를 보정하기 위해, 확산 우도(likelihood)를 직접 평가하지 않고도 해당 중요도 가중치(weight)에 대한 다루기 쉬운 대리 지표를 제공하는, 현재 및 과거 정책의 증거 하한(ELBO) 차이에 대한 비편향 추정량을 유도합니다. 산림 보호 게임 및 연속 블로토 대령(Colonel Blotto) 게임에서 제안 방식을 평가한 결과, 최소한의 하이퍼파라미터(hyperparameter) 튜닝만으로 가장 강력한 기준선(baseline) 대비 내시 격차(Nash gap)를 각각 35.6% 및 24.7% 감소시켰습니다.

원문 초록

Computing equilibria in high-dimensional continuous games requires learning and representing rich, multi-modal strategy distributions, something conventional neural policies struggle to achieve. Diffusion models offer a natural solution, but standard diffusion training requires direct samples from a fixed target distribution, which are generally unavailable under iterative game-solving updates. We propose a diffusion-based framework for equilibrium computation that enables diffusion-based variants of Online Mirror Descent (OMD) and Fictitious Play (FP). Our approach derives a reweighted score-matching objective that trains diffusion policies without requiring direct samples from each updated policy. Our main method, DiffNash, combines the fast convergence of OMD with the sample efficiency of FP by reusing past actions through a replay buffer. To correct the resulting distribution shift from sample reuse, we derive an unbiased estimator of the difference between current and past policies' Evidence Lower Bounds, whose exponential provides a tractable proxy for the corresponding importance weight without evaluating diffusion likelihoods. We evaluate our approach on forest protection games and continuous Colonel Blotto games, reducing the Nash gap over the strongest baseline by 35.6% and 24.7%, respectively, with minimal hyperparameter tuning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15932v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00705v1cs.AI공통 태그 Multi-agent Reinforcement Learning, nash equilibrium

자율주행 적용을 위한 상호작용 정책의 빠른 적응을 목표로 하는 메타 다중 에이전트 강화학습

Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving

본 논문에서는 다중 에이전트 시스템(MAS)에서 상호작용 정책의 빠른 적응을 가능하게 하는 메타 다중 에이전트 강화학습(meta-MARL) 프레임워크를 개발합니다. 메타 강화학습(meta-RL)은 이단계 최적화(bi-level optimization) 메커니즘을 통해 에이전트가 새로운 태스크 및 환경에 빠르게 적응할 수 있도록 지원합니다. 그러나 기존의 메타 강화학습은 일반적으로 단일 에이전트 시스템에 초점을 맞추고 있습니다. 이러한 프레임워크와 알고리즘을 다중 에이전트 시스템으로 확장하는 데는 추가적인 난관이 따르는데, 태스크가 환경뿐만 아니라 에이전트 간의 전략적 상호작용에 의해서도 정의되기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다중 에이전트 강화학습(MARL) 문제를 마르코프 게임(MG)으로 모델링하고 여러 마르코프 게임 분포 전반에서 신속한 상호작용 정책 적응을 달성하는 메타 다중 에이전트 강화학습 프레임워크를 개발합니다. 또한 메타 다중 에이전트 강화학습 문제에서 목표로 하는 해의 개념을 설명하기 위해 메타-내시 균형(meta-NE)이라는 새로운 개념을 정의합니다. 나아가 메타-내시 균형과 그래디언트 플레이 기반 메타 다중 에이전트 강화학습 알고리즘의 정류점(stationary point) 간의 동치성에 대한 충분조건을 확립합니다. 자율주행 태스크를 대상으로 한 평가를 통해 제안된 메타 다중 에이전트 강화학습 방법이 사전학습된 다중 에이전트 강화학습 베이스라인보다 더 빠른 적응을 달성함을 입증하여 프레임워크의 유효성을 검증합니다.

arXiv:2511.07260v3cs.AI공통 태그 Multi-agent Reinforcement Learning, diffusion policy

PADiff: 애드혹 팀워크를 위한 예측 및 적응형 확산 정책

PADiff: Predictive and Adaptive Diffusion Policies for Ad Hoc Teamwork

애드혹 팀워크(Ad hoc teamwork, AHT)는 에이전트가 이전에 본 적 없는 팀원과 협력해야 하며, 이는 많은 실제 응용 분야에서 매우 중요합니다. AHT의 핵심 과제는 미지의 팀원을 실시간으로 예측하고 이에 적응할 수 있는 자아 에이전트(ego agent)를 개발하는 것입니다. 기존의 강화학습(RL) 기반 접근 방식은 단일 기대 수익만을 최적화하기 때문에 정책이 하나의 지배적인 행동으로 축퇴되는 경우가 많으며, 이로 인해 AHT에 내재된 다중 모달(multimodal) 협력 패턴을 포착하지 못합니다. 본 연구에서는 에이전트의 다중 모달 행동을 포착하여 팀원과의 다양한 협력 모드를 실현하는 확산(diffusion) 기반 접근 방식인 PADiff를 소개합니다. 그러나 표준 확산 모델은 비정상성(non-stationary)이 매우 높은 AHT 시나리오에서 예측 및 적응 능력이 부족합니다. 이러한 한계를 해결하기 위해, 노이즈 제거(denoising) 과정에 팀원에 대한 중요한 예측 정보를 통합하는 새로운 확산 기반 정책을 제안합니다. 세 가지 협력 환경에 걸친 광범위한 실험을 통해 PADiff가 기존 AHT 방식보다 성능이 크게 우수함을 입증합니다.

arXiv:2607.05132v2cs.CY공통 태그 Multi-agent Reinforcement Learning, game theory

에이전트가 거짓말할 때: 반복 게임에서의 사전 계획, 지속성, 그리고 활용

When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games

대규모 언어 모델(LLM)이 행동하기 전에 의도를 전달하는 자율 에이전트로 배포됨에 따라, 공개적으로 행동을 약속한 에이전트가 그 약속을 이행하는지 여부가 중요한 안전성 문제로 부상하고 있다. 우리는 LLM 에이전트를 반복 n인 게임에 배치하고, 사적 의도, 공개 선언, 최종 행동을 분리하는 3단계 프로토콜을 적용하여 각각의 선언 이탈이 사적 심의 중에 이미 계획되었는지를 식별할 수 있도록 하였다. 동질적 및 이질적 그룹 구성에서 6가지 게임, 10라운드에 걸쳐 세 가지 최신 모델을 평가한 결과, 두 가지 발견을 보고한다. 첫째, 에이전트가 선언에서 이탈할 때 그 이탈은 대부분 이미 사적 계획에 명시되어 있었으며(가장 높은 기만 조건에서 90%를 초과), 이는 고정된 모델 속성이 아니다: 동일한 모델이 게임에 따라 완전한 정직에서 거의 전면적인 이탈까지 다양한 범위를 보인다. 둘째, 서로 다른 모델은 선언을 상이하게 해석하며—일부는 구속력 있는 약속으로, 다른 일부는 값싼 말로 해석하여—0라운드에서 등장하여 전체 10라운드에 걸쳐 지속되는 보상 격차를 발생시킨다. 따라서 서로 다른 제공자의 모델을 결합하는 시스템은 선언 의미론이 공유된다고 가정할 수 없으며, 배포 전에 모델 간 상호작용에 대한 실증적 검증이 필요하다.

arXiv:2607.06514v1cs.AI공통 태그 Multi-agent Reinforcement Learning, game theory

FootsiesGym: 2인 제로섬 불완전 정보 게임을 위한 격투 게임 벤치마크

FootsiesGym: A Fighting Game Benchmark for Two-Player Zero-Sum Imperfect-Information Games

본 논문에서는 비자명한 2인 제로섬 불완전 정보 게임에서의 학습을 위한 오픈소스 환경인 FootsiesGym을 제안한다. HiFight의 미니멀리스트 2D 격투 게임 Footsies를 기반으로 구축된 이 환경은, 격투 게임 뉴트럴 플레이(neutral play)의 순환적·비추이적 전략 상호작용을 분리하면서도 효율적인 분석이 가능할 만큼 단순하게 유지된다. 표준 하드웨어에서 고처리량 학습을 가능하게 하는 벡터화된 시뮬레이터를 제공함으로써 환경의 접근성과 재현성을 보장한다. 본 논문은 환경의 설계를 기술하고, 여러 강화학습 알고리즘을 벤치마크하며, 이 환경이 가능하게 하는 향후 연구 방향을 논의한다. 코드는 https://github.com/como-research/FootsiesGym 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.