General sum stochastic games with networked information flows
원문 초록
Inspired by applications such as supply chain management, epidemics, and social networks, we formulate a stochastic game model that addresses three key features common across these domains: 1) network-structured player interactions, 2) pair-wise mixed cooperation and competition among players, and 3) limited global information toward individual decision-making. In combination, these features pose significant challenges for black box approaches taken by deep learning-based multi-agent reinforcement learning (MARL) algorithms and deserve more detailed analysis. We formulate a networked stochastic game with pair-wise general sum objectives and asymmetrical information structure, and empirically explore the effects of information availability on the outcomes of different MARL paradigms such as individual learning and centralized learning decentralized execution.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
Multi-Step Reinforcement Learning for Single Image Super-Resolution
Multirobot Coverage of Modular Environments
Actor-Critic Deep Reinforcement Learning for Solving Job Shop Scheduling Problems
전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반
Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration
AI 에이전트는 코드, 문서, 도구, 분석을 공유한다. 어떤 참여자도 전체 상태를 보지 못하므로, 모든 단계가 옳아 보이는데도 결합된 결과는 틀릴 수 있다. 우리는 이를 전역 일관성 문제라고 부른다. 이는 지능만의 문제가 아니라 상태의 문제이다. 더 강한 모델은 국소적으로 더 잘 결정하지만, 자신의 맥락에서 무엇이 빠져 있는지는 볼 수 없다. 관측 에일리어싱 불가능성 정리는 정확한 조건을 제시한다. 에이전트는 자신의 맥락과 일치하는 모든 세계가 공통의 행동을 허용할 때, 그리고 그때에만 항상 유효하게 행동할 수 있다. 서로 닮은 세계들이 서로 다른 행동을 요구할 때에는, 어떤 추론, 역할, 메시지, 표본도 올바른 행동을 보장할 수 없다. 유효한 행동이 서로소인 이러한 세계가 $k$개 있으면, 최선의 무작위 정책이 성공할 확률은 1/k이다. 충분한 최소 맥락을 찾는 것은 NP-난해이지만, 정제(refinement)가 하나를 찾아내고 규칙이 바뀔 때 이를 최신 상태로 유지한다. 두 번째 실패는 완전한 정보 하에서도 남는다. 유효한 조각들이 하나의 세계로 맞춰지지 않을 수 있다. 동일한 정리가 일관성의 조건을 규정하며, 층(sheaf)과 군다발(groupoid)은 이를 충족하는 한 가지 방법이다. 모델이 제안하고, 하네스가 무엇이 유효한지 결정한다. 열 가지 연구로 이를 검증한다. TeamBench에서 팀은 5/5회 실행에서 공유 예산을 초과 지출하며, 실시간 집계를 보여 주어도 4/5가 남고, 예산을 소유하는 하네스에서는 0/5가 남는다. 어떤 쌍별 검사로도 볼 수 없는 신원 충돌이 공개 정렬 네트워크 45개 중 23개에서 나타나며, 분할 시야 에이전트는 40회 병합 중 9회에서 이를 만들어 내고, 네트워크 검사는 아홉 건을 모두 제거한다. 최첨단 LLM은 결정적 사건을 볼 때 40/40개의 수정 과제를 해결하지만, 그 사건을 숨기면 더 오래 추론하거나, 투표하거나, 역할로 나누는 어떤 방식도 우연 수준을 유의하게 넘지 못하며, 동반 연구는 두 번째 제공자의 모델에서 이를 재현한다. tau2-bench Telecom에서 무음 되돌림 이후 하네스는 1.00점을 기록하는 반면 호출 시점 정책 검사는 0.07점이다. 정제는 모든 필드를 공유하는 비용의 28%로 충분한 맥락을 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.