PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25997v3cs.GT

Variable Bound Tightening for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games

There has been significant recent progress in algorithms for approximation of Nash equilibrium in large two-player zero-sum imperfect-information games and exact computation of Nash equilibrium in multiplayer strategic-form games. While counterfactual regret minimization and fictitious play are scalable to large games and have convergence guarantees in two-player zero-sum games, they do not guarantee convergence to Nash equilibrium in multiplayer games. Recently, an approach has been presented for exact computation of Nash equilibrium in multiplayer imperfect-information games that solves a quadratically constrained program based on a nonlinear complementarity problem formulation derived from the sequence-form game representation. This formulation was solved using Gurobi's nonconvex quadratic solver, which employs spatial branch-and-bound to iteratively refine variable bounds by solving convex relaxations of bilinear terms. During presolve, Gurobi introduces auxiliary variables and, in some cases, binary variables, leading to an internal mixed-integer quadratically constrained program. This approach was demonstrated to outperform prior algorithms from the Gambit software suite and quickly solve three-player Kuhn poker after removal of dominated actions; however, the algorithm was not able to solve the full version of the game within 24 hours. In this paper, we derive finite bounds on slack and multiplier variables in the nonlinear complementarity formulation. These bounds can strengthen the convex relaxations used within spatial branch-and-bound. We compare uniform corollary bounds with finer proposition-based bounds on full three-player Kuhn poker. All eight bounded configurations return numerically verified equilibria in under 17 seconds, while the unbounded formulation finds no feasible solution within 300 seconds. The finest bounds do not consistently yield the fastest computation.

arXiv:2610.00715v2cs.AI

선호도 불확실성 하에서의 강건한 내시 정렬

Robust Nash Alignment under Preference Uncertainty

Preference-based alignment methods typically optimize against a single preference model, and can therefore be brittle when pairwise preferences are uncertain: noisy, heterogeneous, or shift after deployment. To address these issues, we propose Robust Nash Alignment, a game-theoretic framework for alignment to uncertain pairwise preferences. Our formulation has a major learner seeking a policy with a large worst-case win rate against both an adversarial competitor and any preference kernel lying in an ambiguity set around a nominal preference. When the ambiguity set captures the uncertainty in preferences, the resulting robust objective of the game directly yields a certified lower bound on worst-case performance. However, we note this problem is computationally challenging to optimize, and to address this, we introduce a four-player primal-dual proxy game involving the leader policy, follower policy, adversarial kernel, and dual variable, and develop a single-loop optimistic mirror descent-ascent algorithm for it. We show that the proxy always lower-bounds the truncated hard-constrained objective, quantify the proxy-to-hard gap, and characterize an exactness condition under which the proxy recovers the robust objective. We then prove an $\mathcal{O}(1/\sqrt{T})$ average-iteration convergence for the proxy-game duality gap, which implies a near-optimal robust policy for the original robust objective. Experiments on controlled tabular games and LLM alignment with uncertain preference illustrate the method and show improved robustness to preference perturbations over nominal baselines.

arXiv:2610.15932v1cs.LG

DiffNash: 확산 정책을 활용한 고차원 연속 행동 공간에서의 내시 균형 탐색

DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies

고차원 연속 게임에서 균형(equilibrium)을 계산하려면 풍부한 다봉(multi-modal) 전략 분포를 학습하고 표현해야 하지만, 기존의 신경망 정책으로는 이를 달성하기 어렵습니다. 확산 모델(diffusion model)은 자연스러운 해결책을 제공하지만, 표준 확산 학습(training)은 고정된 목표 분포로부터의 직접적인 샘플을 필요로 하며, 이는 반복적인 게임 해결 업데이트 과정에서는 일반적으로 얻기 어렵습니다. 본 논문에서는 온라인 미러 하강법(OMD) 및 가상 플레이(FP)의 확산 기반 변형을 가능하게 하는 균형 계산용 확산 기반 프레임워크를 제안합니다. 제안하는 접근법은 각 업데이트된 정책으로부터 직접 샘플을 추출할 필요 없이 확산 정책을 학습시키는 재가중(reweighted) 스코어 매칭 목적식을 유도합니다. 본 연구의 핵심 방법론인 DiffNash는 리플레이 버퍼를 통해 과거 행동을 재사용함으로써 OMD의 빠른 수렴(convergence)과 FP의 샘플 효율성을 결합합니다. 샘플 재사용으로 인해 발생하는 분포 변화(distribution shift)를 보정하기 위해, 확산 우도(likelihood)를 직접 평가하지 않고도 해당 중요도 가중치(weight)에 대한 다루기 쉬운 대리 지표를 제공하는, 현재 및 과거 정책의 증거 하한(ELBO) 차이에 대한 비편향 추정량을 유도합니다. 산림 보호 게임 및 연속 블로토 대령(Colonel Blotto) 게임에서 제안 방식을 평가한 결과, 최소한의 하이퍼파라미터(hyperparameter) 튜닝만으로 가장 강력한 기준선(baseline) 대비 내시 격차(Nash gap)를 각각 35.6% 및 24.7% 감소시켰습니다.

arXiv:2606.04931v2cs.LG

평균 기반 알고리즘: 하한 및 후회

Mean-based algorithms: A lower bound and regret

평균 기반 알고리즘(mean-based algorithm)은 평균 보상이 낮은 행동에 낮은 확률을 할당하는 온라인 학습 알고리즘이다. 최근 연구에 따르면 이러한 알고리즘은 경제 게임에서 내시 균형(Nash equilibria)의 근사치 역할을 하는 순차적 비지배(serially undominated) 행동으로 수렴한다. 그러나 실증적 연구들은 평균 기반 알고리즘이 밴딧 피드백(bandit feedback) 환경에서 기존 무후회(no-regret) 대안들보다 더 느리게 수렴함을 보여준다. 본 연구는 미지의 기간(unknown horizon)과 밴딧 피드백 환경에서 평균 기반 알고리즘을 조사한다. 이 설정에서 우리는 알고리즘 정의 수열 $γ_t$에 대한 최초의 하한(lower bound)을 제시하여 이러한 알고리즘의 학습 속도에 대한 근본적인 한계를 규명한다. 다중 팔 밴딧(multi-armed bandit) 문제에서 이 결과는 임의의 알고리즘이 낮은 보상의 행동을 안정적으로 식별하는 동시에 이러한 지식에 따라 행동할 수 있는 속도를 제한한다. 또한 우리는 두 가지 평균 기반 알고리즘을 제안한다. 하나는 $ε$-greedy를 일반화한 것이고, 다른 하나는 평균 기반 Exp3를 미지의 기간으로 확장한 것이다. 실험을 통해 평균 기반 알고리즘이 다소 느리기는 하지만 다른 밴딧 피드백 알고리즘과 경쟁력 있는 성능을 보일 수 있음을 확인했다. 나아가 후회(regret)와의 관계를 추가로 연구한다. $γ_t$의 선택에 따라 무후회 알고리즘과의 교집합은 자명하지 않으며(non-trivial), 일부 알고리즘은 평균 기반이면서 동시에 무후회임을 보인다.

arXiv:2602.01564v3cs.LG

평균장 랑주뱅 하강-상승 및 관련 입자 시스템의 국소 지수 안정성

Local exponential stability of mean-field Langevin descent-ascent and associated particle system

엔트로피 정규화된 2인 제로섬 게임의 최적화 동역학인 mean-field Langevin descent-ascent(MFL-DA)에 대해, 초기값이 혼합 내시 균형(mixed Nash equilibrium)에 충분히 가까운 경우 Wasserstein 공간에서 지수적으로 빠른 국소 수렴이 성립함을 증명했다. 또한 유한-N 입자 시스템이 N에 독립적인 지수 수렴률로 $e^{\theta N}$ 시간까지 이 안정성을 계승함을 보여, 전역 수렴이 일반적으로 불가능하다는 최근 반례와 함께 Wang-Chizat 질문에 대한 완전한 국소적 긍정 답변을 제시한다.

arXiv:2504.03432v4math.OC

민티 조건 하에서 변분 부등식을 풀기 위한 다항 시간 알고리즘

A Polynomial-Time Algorithm for Variational Inequalities under the Minty Condition

(Stampacchia) 변분 부등식(variational inequality, SVI)을 푸는 것은 최적화(optimization)의 핵심에 위치한 기초적인 문제입니다. 그러나 이러한 표현력은 계산 복잡도(computational hardness)라는 대가를 수반합니다. 그 결과, 대부분의 연구는 이러한 난해성 장벽을 피할 수 있는 특정 하위 클래스를 규명하는 데 집중해 왔습니다. 1960년대로 거슬러 올라가는 고전적인 속성 중 하나는 민티 변분 부등식(MVI) 문제가 해를 갖는다고 가정하는 민티 조건(Minty condition)입니다. 본 논문에서는 민티 조건 하에서 립시츠 연속(Lipschitz continuous) 사상에 대한 $ε$-SVI를 풀기 위해, 차원 $d$ 및 $\log(1/ε)$에 대해 다항식으로 증가하는 복잡도를 가지는 최초의 다항 시간 알고리즘(polynomial-time algorithm)을 규명합니다. 기존 접근 방식들은 $1/ε$(및 문제의 다른 자연스러운 매개변수들)에 대해 지수적으로 나쁜 의존성을 지니거나 단조성(monotonicity)과 같은 보다 제한적인 가정을 두었습니다. 이를 위해, 타원체(ellipsoid)의 중심에서 하강 단계를 취한 후 분리 초평면(separating hyperplane)을 얻는 타원체 알고리즘의 새로운 변형을 소개합니다. 이 알고리즘은 SVI의 집합이 비볼록(nonconvex)하고 완전 차원(fully dimensional)이 아닌 경우에도 성공합니다. 또한 본 알고리즘을 MVI 해가 존재하지 않는 인스턴스에 적용하여 SVI 해를 찾지 못할 경우, MVI 실행 불가능성(infeasibility)에 대한 간결한 증명(certificate)을 생성합니다. 우리는 또한 민티 조건의 성립 여부를 결정하는 것이 $\mathsf{coNP}$-완전임을 보여줌으로써, 각 문제가 개별적으로는 다루기 힘들더라도 두 문제의 논리합(disjunction)은 다항 시간에 해결 가능함을 밝힙니다. 아울러 주요 결과에 대한 몇 가지 확장 및 새로운 응용을 제시합니다. 특히, 다인 조화 게임(multi-player harmonic games)에서 내시 균형(Nash equilibrium)을 계산하는 최초의 다항 시간 알고리즘을 얻었습니다. 마지막으로, 2인 일반화 합 오목 게임(two-player general-sum concave games)에서 내시 균형 또는 엄격한 개략적 상관 균형(strict coarse correlated equilibrium) 중 하나를 도출하는 최초의 다항 시간 알고리즘을 제시합니다.

arXiv:2610.00705v1cs.AI

자율주행 적용을 위한 상호작용 정책의 빠른 적응을 목표로 하는 메타 다중 에이전트 강화학습

Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving

본 논문에서는 다중 에이전트 시스템(MAS)에서 상호작용 정책의 빠른 적응을 가능하게 하는 메타 다중 에이전트 강화학습(meta-MARL) 프레임워크를 개발합니다. 메타 강화학습(meta-RL)은 이단계 최적화(bi-level optimization) 메커니즘을 통해 에이전트가 새로운 태스크 및 환경에 빠르게 적응할 수 있도록 지원합니다. 그러나 기존의 메타 강화학습은 일반적으로 단일 에이전트 시스템에 초점을 맞추고 있습니다. 이러한 프레임워크와 알고리즘을 다중 에이전트 시스템으로 확장하는 데는 추가적인 난관이 따르는데, 태스크가 환경뿐만 아니라 에이전트 간의 전략적 상호작용에 의해서도 정의되기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다중 에이전트 강화학습(MARL) 문제를 마르코프 게임(MG)으로 모델링하고 여러 마르코프 게임 분포 전반에서 신속한 상호작용 정책 적응을 달성하는 메타 다중 에이전트 강화학습 프레임워크를 개발합니다. 또한 메타 다중 에이전트 강화학습 문제에서 목표로 하는 해의 개념을 설명하기 위해 메타-내시 균형(meta-NE)이라는 새로운 개념을 정의합니다. 나아가 메타-내시 균형과 그래디언트 플레이 기반 메타 다중 에이전트 강화학습 알고리즘의 정류점(stationary point) 간의 동치성에 대한 충분조건을 확립합니다. 자율주행 태스크를 대상으로 한 평가를 통해 제안된 메타 다중 에이전트 강화학습 방법이 사전학습된 다중 에이전트 강화학습 베이스라인보다 더 빠른 적응을 달성함을 입증하여 프레임워크의 유효성을 검증합니다.

arXiv:2606.28308v1cs.GT

어느 나시 균형인가? 제로섬 나시 다면체에서의 솔버 의존적 선택

Which Nash Equilibrium? Solver-Dependent Selection on Zero-Sum Nash Polytopes

많은 2인 제로섬 게임은 유일한 나시 균형 하나가 아니라, 모든 프로필이 미니맥스 값 V*를 공유하지만 서로 다른 행동을 규정하는 볼록 집합, 즉 다면체를 갖는다. 표준 솔버는 각각 어떤 균형으로 수렴하며 상호 교환 가능한 것으로 취급된다. 우리는 대신 이들이 나시 집합의 서로 다른 구성원을, 시드가 아니라 알고리즘의 함수로 체계적으로 선택하는지를 묻는다. 해석적으로 알려진 나시 집합을 갖는 6개 게임의 표 형식·정확히 풀 수 있는 테스트베드(2차원 나시 다면체와 Kuhn poker 포함)를 사용하여 다음을 발견한다. (i) 선택은 시드가 아니라 알고리즘에 의해 결정되지만, 알고리즘 계열 간 차이는 비대칭 나시 집합에서만 나타난다. (ii) 정규화된 마지막 반복(last-iterate) 방법(R-NaD, magnetic mirror descent)은 최대 엔트로피 구성원, 즉 균등 참조(uniform reference)를 나시 집합에 대한 정보 투영(information projection)한 것을 선택한다 — 2차원 다면체에서는 정확히, Kuhn에서는 최대 엔트로피의 99.7%에서 — 반면 후회 평균(regret-averaging) 방법(CFR, CFR+, fictitious play)은 더 낮은 엔트로피 면(face)으로 이동한다. 무작위 180게임 앙상블에서도 이를 확인하며, R-NaD는 수렴한 게임의 100%에서 최대 엔트로피 구성원에 도달하는 반면 CFR+는 94%에서 엄격히 그 아래에 위치한다(쌍체 Wilcoxon p < 10^-27). (iii) 선택된 구성원은 차선 상대에 대한 하류 결과를 갖으며, 이는 순차/은닉 정보 구조에 따라 스케일되지만 유계(bounded)로 남는다 — Kuhn에서 최대 엔트로피 구성원은 엄격히 더 나은 헤지(hedge)이지만, 행렬 게임에서는 구성원들이 서로 우세하지 않고 다르다. 또한 흔한 직관을 수정하는 두 가지 부정적 결과를 보고한다. CFR의 양의 직교(orthant) (max(R,0)) 투영을 제거해도 경계 이동(boundary drift)이 사라지지 않으며, R-NaD의 선택은 초기화와 무관하지 않고 앵커 추종(anchor-following)이다. 최대 엔트로피 / I-투영 특성화를 해석적 ground truth와 전 과정에서 대조하여 검증한, 강력한 데이터 기반 conjecture로 기술한다.

arXiv:2606.27068v1cs.GT

매개변수적 오픈 소스 게임

Parametric Open Source Games

오픈 소스 게임 이론(open-source game theory)은 에이전트(agent)의 행동이 상호의 의사 결정 절차에 의존할 수 있는 경우를 연구하지만, 기존 모델 대부분은 이산(discrete) 또는 기호(symbolic) 프로그램을 사용한다. 우리는 매개변수적 오픈 소스 게임(parametric open-source games)을 도입한다. 이는 프로그램 균형(program equilibria)의 연속적 대응물로, 플레이어들이 매개변수 벡터(parameter vector)를 선택하고, 의미론 맵(semantics maps)이 전체 매개변수 프로필을 기본 유한 게임(underlying finite game)의 혼합 행동(mixed actions)으로 변환한다. 균형 존재 결과를 확립하고, 대칭 $2\times2$ 게임에서 이기적인 그래디언트 상승(selfish gradient ascent)이 배신(defection)에서 협력(cooperation)으로 전환되는 정확한 결합(coupling) 임계값을 도출하며, 매개변수적 프로그램 내시 균형(parametric program Nash equilibria)에 대한 1차원 경계 검정(boundary test)을 제시한다. 또한 프레임워크를 1차 협력 조건이 교차-플레이어 대 자기-플레이어 민감도(cross-player to self-player sensitivity)의 비율에 의해 지배되는 신경망 의미론 클래스(neural semantics class)로 확장한다. 표준 게임들(canonical games) 전반에 걸쳐, 이 프레임워크는 내부 매개변수화(internal parameterizations)에 대한 접근이 학습 역학(learning dynamics)과 균형 구조(equilibrium structure)를 질적으로 어떻게 재형성할 수 있는지, 그리고 충분히 강한 오픈 소스 결합(open-source coupling)이 이기적인 최적화(selfish optimization)를 협력적 결과(cooperative outcomes)로 어떻게 유도할 수 있는지 보여준다.

arXiv:2409.01447v3cs.LG

2인 제로섬 확률적 게임에서의 분산형 최적응답 기반 학습: 유한 표본 분석

Decentralized Best-Response-Based Learning in Two-Player Zero-Sum Stochastic Games: A Finite-Sample Analysis

2인 제로섬 행렬·확률적 게임에서 각 플레이어가 자신의 보수 관측만으로 평활화 최적응답(best response)을 향해 정책을 갱신하는 분산형 학습의 유한 표본 분석을 제시하고, 확률적 게임에는 유도 행렬 게임의 최적응답 학습과 분산형 model-free minimax 가치 반복을 결합한 VI-SBR 알고리즘을 제안한다. 탐험 강화 변형은 ε-내시(Nash) 균형 도달에 Õ(ε⁻⁸) 표본 복잡도(sample complexity)를 달성하며, 행렬 게임에서는 ε-내시 분포에 O(ε⁻¹) 유한 표본 보장을 확립한다.