arXiv:2606.22579v1 cs.LG

모델 불일치 하의 정상 강건 평균장 게임

Stationary Robust Mean-Field Games under Model Mismatches

Yue Wang

제출 2026-06-21

한국어 초록

다중 에이전트 강화학습(MARL)을 실세계에 배포하는 것은 종종 학습 시뮬레이터와 실제 환경 간의 모델 불일치로 인해 제한되며, 이러한 불일치는 전략적 상호작용을 통해 더욱 증폭될 수 있어 배포 시 심각한 성능 저하를 초래할 수 있다. 분포적 강건성(distributional robustness)은 불확실성 집합에서 추출된 최악의 경우 전이 모델에 대해 정책을 최적화함으로써 원칙적인 대응을 제공하지만, 표준 강건 MARL 프레임워크는 에이전트 수가 증가할수록 점점 더 다루기 어려워진다. 본 논문은 분포적 모델 불확실성을 인구 결합(population-coupled) 동역학에 직접 통합하는 무한 수평선(infinite-horizon) 정상 평균장(mean-field) 게임 프레임워크를 개발한다. 우리는 수축적(contractive) 벨만 연산자를 갖는 강건 동적 계획법(dynamic programming) 원리를 수립하고, 고정점 논증을 통해 정상 강건 평균장 균형의 존재성을 증명한다. 또한 수렴 보장을 갖는 최초의 구체적 알고리즘을 개발한다. 이어서 평균장 해를 경험적 분포에 의존하는 모호성 집합(ambiguity set)을 갖는 유한 인구 강건 게임과 연결하고, 평균장 균형 정책이 인구 크기가 증가함에 따라 근사 균형 행동을 유도함을 보인다. 수축적 강건-동역학 체제 하에서, 우리는 더 나아가 명시적 비점근적(non-asymptotic) 오차 한계를 얻는다. 수치 실험은 또한 다양한 불확실성 모델에서 강건성의 정성적·정량적 영향을 보여주며 우리의 이론적 결과를 검증한다.

원문 초록

Deploying multi-agent reinforcement learning (MARL) in the real world is often limited by model mismatches between the training simulators and the true environment, which could be further amplified through strategic interactions and result in severe performance degradation upon deployment. Distributional robustness offers a principled response by optimizing policies against worst-case transition models drawn from an uncertainty set, but standard robust MARL frameworks become increasingly intractable as the number of agents grows. This paper develops an infinite-horizon, stationary mean-field game framework that incorporates distributional model uncertainty directly into the population-coupled dynamics. We establish a robust dynamic programming principle with a contractive Bellman operator and prove the existence of a stationary robust mean-field equilibrium via a fixed-point argument. We further develop the first concrete algorithm with convergence guarantees. We then connect the mean-field solution to a finite-population robust game whose ambiguity sets depend on the empirical distribution, showing that the mean-field equilibrium policy induces approximate equilibrium behavior as the population size increases. Under a contractive robust-dynamics regime, we further obtain explicit non-asymptotic error bounds. Numerical experiments further illustrate the qualitative and quantitative impact of robustness under multiple uncertainty models, validating our theoretical findings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.22579v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.33289v2cs.AI공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning, Sequential Decision Making

판매 학습: 다중 제품 시장에서 전략적 대규모 언어 모델 에이전트를 위한 강화학습

Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets

다중 제품 시장에서 작동하는 자율 대규모 언어 모델(LLM) 에이전트는 정보 비대칭과 자원 제약 조건 하에서 순차적 의사결정을 내려야 합니다. 본 연구에서는 판매자가 독립적인 구매자 풀을 대상으로 대체 가능한 자산 카탈로그를 동시에 협상하는 다중 품목 협상 환경에서 에이전트가 판매자로서 효과적으로 활동하도록 학습시키는 머신러닝 접근 방식을 개발합니다. 구매자들은 제품 전반에 걸쳐 비공개적이고 이질적인 가치 평가를 지니며, 각 구매자는 최대 하나의 품목만 구매할 수 있습니다. 판매자는 전체 통신 턴 수의 제한에 직면하여 구매자의 비공개 가치 평가를 고려해 가장 수익성이 높은 제품과 동적으로 매칭하는 동시에, 더 큰 잠재 가치를 지닌 조합을 향해 제한된 상호작용 예산을 전략적으로 할당해야 합니다. 본 논문에서는 자연어를 파싱 가능하고 규제된 의사결정 공간으로 매핑하는 정형화된 4단계 메시지 프로토콜을 사용하여 이 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 정형화합니다. 이러한 정형화를 바탕으로 검증 가능한 보상 기반 강화학습(RLVR)을 사용하는 사후 학습(post-training) 방법을 설계합니다. 이 프레임워크를 평가하기 위해 제약 준수, 판매자 잉여 추출, 할당 품질을 정량화하는 다차원 메트릭 스위트를 구축합니다. 학습된 판매자 에이전트는 제한된 재고를 구매자에게 더 효과적으로 매칭하는 법을 학습하며, 판매자 잉여 추출 및 구매자-제품 할당 품질 모두에서 조 단위 매개변수를 지닌 프론티어 모델과 대등하거나 이를 능가하는 성능을 보입니다. 마지막으로, 이렇게 학습된 전략은 학습 중 접하지 않은 새로운 시장 구조, 상관관계가 있는 가치 평가 분포, 가격 범위로도 견고하게 일반화됩니다.

arXiv:2609.26783v1math.OC공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning, Sequential Decision Making

지연된 정보 공유를 활용한 탈중앙화 부분 관측 팀 의사결정 방법론

A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing

본 논문에서는 저순위 잠재 동역학(low-rank latent dynamics)과 미지의 시스템 모델을 갖는 탈중앙화 부분 관측 팀 의사결정 문제를 연구합니다. 제안된 프레임워크는 전이 모델(transition model)에 대한 사전 지식 없이도 부분 관측 마르코프 결정 과정(POMDP)에서의 협력적 의사결정을 다루기 위해 팀 이론적 동치성(team-theoretic equivalence)과 저순위 모델 표현을 결합합니다. 각 팀 구성원은 로컬의 개별 정보와 팀 전체에 공유되는 지연된 공통 정보를 기반으로 의사결정을 내립니다. 사용 가능한 정보만을 활용하여, 각 구성원은 근사 저순위 마르코프 결정 과정을 학습하고 최소제곱 가치 반복(least-squares value iteration)을 적용하여 정책을 계산합니다. 이를 통해 중앙 조정자나 중앙 집중식 학습이 모두 필요하지 않은 완전 탈중앙화 학습 및 계획 알고리즘을 도출합니다. 우리는 결과로 도출된 구성원 측 해가 중앙 집중식 팀 해를 근사함을 보입니다. 즉, 부분 관측 가능성, 미지의 동역학, 지연된 공통 정보에도 불구하고 각 구성원은 근사 팀 최적 정책의 해당 구성 요소를 복원합니다. 나아가 제안된 알고리즘에 대한 유한 표본 성능 보장(finite-sample performance guarantees)을 확립하고 이에 대응하는 표본 복잡도 한계(sample-complexity bound)를 유도합니다.

arXiv:2609.24025v1cs.AI공통 태그 Reinforcement Learning, Multi-agent Reinforcement Learning, Sequential Decision Making

프로그래밍 정책 탐색을 통한 연속 게임용 반응형 캐릭터 행동 합성

Synthesizing Reactive Character Behaviors for Continuous Games via Programmatic Policy Search

본 논문은 연속 게임에서 반응형 캐릭터 행동을 간결하고 사람이 읽을 수 있는 프로그램 형태로 합성하는 방법을 제시한다. 게임 AI 실무는 여전히 수작업으로 작성한 행동 트리, 상태 기계, 스크립트에 크게 의존하는 반면, 학계의 강화학습은 학습 비용이 크고 수정하기 어려운 불투명한 신경망 제어기를 주로 만든다. 우리 접근은 연속 공간 게임 정책을 위한 도메인 특화 언어 위에서 직접 탐색함으로써 이 간극을 메운다. 이 언어는 반응형 기하학적 의사결정을 중심으로 설계되었으며 방향 최대화(direction maximization)와 같은 고차(higher-order) 구성을 포함한다. 이러한 구성은 연속 행동 공간을 열거 가능한 프로그램 구조로 이산화하는 데 도움이 된다. 프로그램 탐색을 실용적으로 만들기 위해, 행동적 커버리지는 유지하면서 중복 프로그램 형태를 제거하는 대규모 합성 안티패턴(synthesis antipatterns) 집합을 도입한다. 또한 하향식(bottom-up) 기호 열거와 코딩 에이전트의 하향식(top-down) 안내를 결합한다. 그 결과 방법인 agentic sketching은 에이전트가 고수준 정책 구조를 제안하고 열거기를 호출해 지역 프로그램 슬롯을 채우도록 한다. 14개의 연속 게임으로 구성된 벤치마크에서 방법을 평가했으며, 고전 제어 과제부터 다중 에이전트 축구까지 범위에 걸친다. 순수 열거만 사용하는 것이 코딩 에이전트 단독 사용보다 종종 더 효율적이며, 결합 방법은 둘 모두를 크게 능가한다. 결과는 프로그래밍 정책 탐색이 게임 AI를 위한 실용적인 저작 도구가 될 수 있음을 시사한다. 디자이너가 보상 함수를 지정하면 시스템이 효과적이고 이식 가능하며 종종 놀라운 수준의 편집 가능한 행동을 발견한다.

arXiv:2610.15932v1cs.LG공통 태그 Multi-agent Reinforcement Learning, game theory

DiffNash: 확산 정책을 활용한 고차원 연속 행동 공간에서의 내시 균형 탐색

DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies

고차원 연속 게임에서 균형(equilibrium)을 계산하려면 풍부한 다봉(multi-modal) 전략 분포를 학습하고 표현해야 하지만, 기존의 신경망 정책으로는 이를 달성하기 어렵습니다. 확산 모델(diffusion model)은 자연스러운 해결책을 제공하지만, 표준 확산 학습(training)은 고정된 목표 분포로부터의 직접적인 샘플을 필요로 하며, 이는 반복적인 게임 해결 업데이트 과정에서는 일반적으로 얻기 어렵습니다. 본 논문에서는 온라인 미러 하강법(OMD) 및 가상 플레이(FP)의 확산 기반 변형을 가능하게 하는 균형 계산용 확산 기반 프레임워크를 제안합니다. 제안하는 접근법은 각 업데이트된 정책으로부터 직접 샘플을 추출할 필요 없이 확산 정책을 학습시키는 재가중(reweighted) 스코어 매칭 목적식을 유도합니다. 본 연구의 핵심 방법론인 DiffNash는 리플레이 버퍼를 통해 과거 행동을 재사용함으로써 OMD의 빠른 수렴(convergence)과 FP의 샘플 효율성을 결합합니다. 샘플 재사용으로 인해 발생하는 분포 변화(distribution shift)를 보정하기 위해, 확산 우도(likelihood)를 직접 평가하지 않고도 해당 중요도 가중치(weight)에 대한 다루기 쉬운 대리 지표를 제공하는, 현재 및 과거 정책의 증거 하한(ELBO) 차이에 대한 비편향 추정량을 유도합니다. 산림 보호 게임 및 연속 블로토 대령(Colonel Blotto) 게임에서 제안 방식을 평가한 결과, 최소한의 하이퍼파라미터(hyperparameter) 튜닝만으로 가장 강력한 기준선(baseline) 대비 내시 격차(Nash gap)를 각각 35.6% 및 24.7% 감소시켰습니다.

arXiv:2610.13504v1cs.LG공통 태그 Reinforcement Learning, Sequential Decision Making

시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델

Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.

arXiv:2610.13534v1cs.AI공통 태그 Multi-agent Reinforcement Learning, Sequential Decision Making

MAGMA-Bench: 동적 태스크 및 실행 실패 환경에서의 장기 임바디드 에이전트 평가

MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures

장기(long-horizon) 임바디드 에이전트(embodied agent)는 실행이 진행됨에 따라 태스크 관련 정보를 유지하고, 이종 로봇들을 조율하며, 의사결정을 적응적으로 변경할 수 있어야 합니다. 기존 벤치마크는 동적 태스크 실행 및 임바디드 멀티 에이전트 조율을 조사하지만, 둘의 교차점에 대한 평가는 제한적입니다. 본 연구에서는 동적 멀티 로봇 환경에서의 지속적 태스크 추론을 위한 아키텍처 비종속적 벤치마크인 MAGMA-Bench를 소개합니다. MAGMA-Bench는 이종 역량을 가진 로봇 간의 조율이 필요한 시나리오와 함께, 실행 실패, 태스크 중단, 미션 업데이트를 포함한 통제된 온라인 섭동(online perturbation) 및 늘어나는 태스크 범위에 걸쳐 에이전트를 평가합니다. 본 벤치마크는 구조화된 스킬 수준 인터페이스를 활용하여 태스크 수준 추론을 인지 및 저수준 제어로부터 분리합니다. 저자들은 로컬 배포가 가능한 오픈 가중치 플래너, 멀티 에이전트 상태 추적 전략, 그리고 프론티어 모델들을 평가합니다. 평가된 가장 강력한 모델조차도 섭동이 없는 에피소드의 상당 부분에서 실패하며, 온라인 섭동 하에서는 성공률이 더욱 감소합니다. 지도 적응(supervised adaptation)은 소형 모델의 성능을 크게 향상시키지만, 더 길고 다중 로봇이 관여하는 미션에서는 성능이 여전히 크게 낮게 유지됩니다. 저자들은 벤치마크, 261,646개의 태스크 수준 학습 예제, 그리고 아키텍처 비종속적 전문가 궤적 생성 파이프라인을 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.