PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09993v2cs.GT

베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습

Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information

적대적 경로 탐색, 목표 탐색, 그래프 상의 도달 가능성 게임과 같이 비대칭 정보가 존재하는 적대적 팀 게임(ATG)은 숨겨진 목표 깃발과 같은 은닉된 상대 유형과 기만에 강건한 전략을 요구한다. 비대칭 정보 하에서 기만은 전지적 상대가 자연(Nature)과 공모하여 관찰된 유형에 따라 행동을 조정할 수 있도록 유형 분포를 전략적으로 이동시키는 것으로 간주된다. 베이지안 내시 균형(BNE)과 같은 기존의 위험 중립 해 개념은 분포 이동에 민감하며, 분포적으로 강건한 접근법은 미리 정해진 모호성 집합 내에서만 보장을 제공한다. 이러한 한계를 해결하기 위해 본 연구는 미니맥스 후회 추론의 분포 비의존적 강건성과 명목 유형 분포의 확률적 정보를 결합한 새로운 균형 개념인 확률적 강건 미니맥스 후회 균형(PR-MRE)을 도입한다. PR-MRE는 유형 공간의 고신뢰도 부분집합에 대해 최악의 경우 후회를 최소화하여, 확률 질량의 전략적 재분배에 대한 보호를 제공하면서 완전히 분포 비의존적인 접근법의 보수성을 피한다. 유한 정규형 베이지안 게임에서 근사 PR-MRE 계산을 강건 쌍선형 계획법으로 정식화할 수 있음을 보이고, 계산 가능한 반정부호 완화를 유도한다. 이어서 이 완화를 강건 이중 오라클 프레임워크 내의 새로운 메타 솔버인 PRMRE-PSRO로 적응시켜, 심층 강화학습 최선 응답을 통해 근사 PR-MRE 전략을 집단 기반으로 학습할 수 있게 한다. 그래프 구조의 적대적 팀 게임에서의 실험은 PR-MRE가 위험 중립 베이지안 내시 균형 해에 비해 숨겨진 유형 전반에서 최악의 경우 성능이 크게 향상된 전략을 발견하며, 그 결과 전략적 분포 이동 하에서 더 강건한 행동을 보임을 입증한다.

arXiv:2603.00374v2cs.AI

오프라인 게임 이론적 다중 에이전트 강화학습에서의 보수적 균형 발견

Conservative Equilibrium Discovery in Offline Game-Theoretic Multiagent Reinforcement Learning

전략의 오프라인 학습은 알고리즘을 고정된 상태-행동 궤적 데이터셋으로 제한함으로써 데이터 효율성을 극대화한다. 우리는 목표가 오프라인 학습 제약 하에서 게임을 풀어야 하는 혼합 동기(mixed-motive) 다중 에이전트 설정에서 이 문제를 고려한다. 우리는 먼저 이 문제를 후보 균형들 중에서 선택하는 관점으로 구성한다. 데이터셋이 게임 역학의 아주 작은 부분만 알려줄 수 있기 때문에, 오프라인 게임 풀이에서는 제안된 해가 진정한 균형인지조차 확인하는 것이 일반적으로 불가능하다. 따라서 우리는 이용 가능한 정보에 기반하여 후보들 사이에서 낮은 후회(regret, 즉 균형에 대한 근접성)의 상대적 확률을 고려한다. 구체적으로, 우리는 온라인 게임 풀이 접근법인 Policy Space Response Oracles(PSRO)를 확장하여 게임 역학 불확실성을 정량화하고, 진정한 게임에서 낮은 후회를 가질 가능성이 더 높은 해로 치우치도록 RL 목적함수를 수정한다. 또한 PSRO에서 전략 탐험을 안내하기 위해 오프라인 설정에 맞춘 새로운 메타 전략 솔버를 제안한다. 오프라인 강화학습 접근법의 보수주의(Conservatism) 원칙을 전략 탐험에 통합한 것이 우리 접근법의 이름 COffeE-PSRO에 반영된다. 실험은 COffeE-PSRO가 최신 오프라인 접근법보다 더 낮은 후회의 해를 추출할 수 있음을 보여주며, 알고리즘 구성 요소, 경험적 게임 충실도(empirical game fidelity), 전반적 성능 사이의 관계를 밝힌다.