한국어 초록
오픈 소스 게임 이론(open-source game theory)은 에이전트(agent)의 행동이 상호의 의사 결정 절차에 의존할 수 있는 경우를 연구하지만, 기존 모델 대부분은 이산(discrete) 또는 기호(symbolic) 프로그램을 사용한다. 우리는 매개변수적 오픈 소스 게임(parametric open-source games)을 도입한다. 이는 프로그램 균형(program equilibria)의 연속적 대응물로, 플레이어들이 매개변수 벡터(parameter vector)를 선택하고, 의미론 맵(semantics maps)이 전체 매개변수 프로필을 기본 유한 게임(underlying finite game)의 혼합 행동(mixed actions)으로 변환한다. 균형 존재 결과를 확립하고, 대칭 $2\times2$ 게임에서 이기적인 그래디언트 상승(selfish gradient ascent)이 배신(defection)에서 협력(cooperation)으로 전환되는 정확한 결합(coupling) 임계값을 도출하며, 매개변수적 프로그램 내시 균형(parametric program Nash equilibria)에 대한 1차원 경계 검정(boundary test)을 제시한다. 또한 프레임워크를 1차 협력 조건이 교차-플레이어 대 자기-플레이어 민감도(cross-player to self-player sensitivity)의 비율에 의해 지배되는 신경망 의미론 클래스(neural semantics class)로 확장한다. 표준 게임들(canonical games) 전반에 걸쳐, 이 프레임워크는 내부 매개변수화(internal parameterizations)에 대한 접근이 학습 역학(learning dynamics)과 균형 구조(equilibrium structure)를 질적으로 어떻게 재형성할 수 있는지, 그리고 충분히 강한 오픈 소스 결합(open-source coupling)이 이기적인 최적화(selfish optimization)를 협력적 결과(cooperative outcomes)로 어떻게 유도할 수 있는지 보여준다.
원문 초록
Open-source game theory studies agents whose behavior may depend on one another's decision procedures, but most existing models use discrete or symbolic programs. We introduce parametric open-source games, a continuous analogue of program equilibria in which players choose parameter vectors and semantics maps convert the full parameter profile into mixed actions in an underlying finite game. We establish equilibrium existence results, derive an exact coupling threshold at which selfish gradient ascent in symmetric $2\times2$ games switches from defection toward cooperation, and give a one-dimensional boundary test for parametric program Nash equilibria. We further extend the framework to a neural semantics class whose first-order cooperation condition is governed by the ratio of cross-player to self-player sensitivity. Across canonical games, the framework shows how access to internal parameterizations can qualitatively reshape learning dynamics and equilibrium structure, and how sufficiently strong open-source coupling can steer selfish optimization toward cooperative outcomes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27068v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DiffNash: 확산 정책을 활용한 고차원 연속 행동 공간에서의 내시 균형 탐색
DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies
고차원 연속 게임에서 균형(equilibrium)을 계산하려면 풍부한 다봉(multi-modal) 전략 분포를 학습하고 표현해야 하지만, 기존의 신경망 정책으로는 이를 달성하기 어렵습니다. 확산 모델(diffusion model)은 자연스러운 해결책을 제공하지만, 표준 확산 학습(training)은 고정된 목표 분포로부터의 직접적인 샘플을 필요로 하며, 이는 반복적인 게임 해결 업데이트 과정에서는 일반적으로 얻기 어렵습니다. 본 논문에서는 온라인 미러 하강법(OMD) 및 가상 플레이(FP)의 확산 기반 변형을 가능하게 하는 균형 계산용 확산 기반 프레임워크를 제안합니다. 제안하는 접근법은 각 업데이트된 정책으로부터 직접 샘플을 추출할 필요 없이 확산 정책을 학습시키는 재가중(reweighted) 스코어 매칭 목적식을 유도합니다. 본 연구의 핵심 방법론인 DiffNash는 리플레이 버퍼를 통해 과거 행동을 재사용함으로써 OMD의 빠른 수렴(convergence)과 FP의 샘플 효율성을 결합합니다. 샘플 재사용으로 인해 발생하는 분포 변화(distribution shift)를 보정하기 위해, 확산 우도(likelihood)를 직접 평가하지 않고도 해당 중요도 가중치(weight)에 대한 다루기 쉬운 대리 지표를 제공하는, 현재 및 과거 정책의 증거 하한(ELBO) 차이에 대한 비편향 추정량을 유도합니다. 산림 보호 게임 및 연속 블로토 대령(Colonel Blotto) 게임에서 제안 방식을 평가한 결과, 최소한의 하이퍼파라미터(hyperparameter) 튜닝만으로 가장 강력한 기준선(baseline) 대비 내시 격차(Nash gap)를 각각 35.6% 및 24.7% 감소시켰습니다.
숫자가 말을 하기 시작할 때: LLM 간의 수치적 신호 전달과 전략적 행동
When Numbers Start Talking: Numerical Signalling and Strategic Behaviour Among LLMs
대규모 언어 모델(LLM) 기반 에이전트는 전략적 상호작용을 특징으로 하는 다중 에이전트 시스템(MAS)에서 점점 더 많이 활용되고 있습니다. 그러나 서로 다른 유형의 메시지가 전략적 게임의 결과에 영향을 미치는지, 그리고 어느 정도까지 영향을 미치는지에 대해서는 알려진 바가 거의 없습니다. 서로 다른 협력 균형을 갖는 4개의 게임을 플레이하는 4개의 대표적인 LLM 기반 AI 에이전트를 조사함으로써, 본 연구는 다양한 종류의 메시지(자연어, 수치적 신호 또는 무작위 시퀀스)가 에이전트에 부여된 성격에 따라 각 게임의 협력 수준을 유의미하게 변화시키는지 분석합니다. 연구 결과, 구조화된 메시지는 대부분의 게임과 LLM에서 최종 보수(payoff)를 변화시키지만 예측 가능한 패턴은 나타나지 않음을 확인했습니다. 이는 추가적인 기능과 무관하게 AI 에이전트가 안정적인 균형으로 수렴할 수 있다는 가정에 의문을 제기합니다. 또한, 에이전트가 생성한 수치적 메시지는 무작위성에서 벗어나며, 특히 에이전트가 명시적으로 소통하도록 지시받았을 때 이러한 경향이 가장 강하고 일관되게 나타남을 관찰했습니다. 그러나 이러한 수치적 메시지의 기호 분포는 주로 보수 구조와 연관되어 있고 반복을 통해 대체로 더 집중되는 경향을 보이지만 전반적으로 인간이 해석하기 어려워 추가적인 해석 가능성(interpretability) 문제를 야기합니다. 따라서 제한된 채널을 통한 AI 에이전트의 공모 및 협력(coordination)을 모니터링할 때는 모델 간에 일반화되지 않는 행동적 결정보다는 모델 전반에 일반화되는 메시지 수준의 지문(fingerprint)을 우선적으로 고려해야 합니다.
Active Directory 보안 강화를 위한 실용적 그래프 최적화 및 AI 기반 모델
Practical Graph Optimisation and AI-Driven Models for Active Directory Security Hardening
Microsoft의 Active Directory(AD)는 IT 관리자가 Windows 도메인 네트워크 내에서 보안 권한을 관리하고 접근을 제어할 수 있게 하는 디렉터리 서비스이다. 많은 조직의 핵심 관리 시스템인 AD는 적대자의 주요 공격 대상이 되었다. 공격 그래프를 강화하는 많은 해결책이 존재하지만, 이러한 노력은 AD 공격 그래프에 특화된 여러 핵심적인 실용적 과제를 해결하는 데 미흡하다. 첫째, 기존 모델은 그래프가 정적이라고 가정하는 경우가 많지만, 실제 AD 환경은 매우 동적이다. 둘째, 대부분의 제안된 해결책은 취약점을 제거하는(엣지 제거) 방어적 조치에 한정되어 있으며, 보다 능동적인 방어 메커니즘은 대체로 연구되지 않았다. 셋째, 모든 조치가 실행 가능한 것은 아니므로, 실용적인 end-to-end 모델은 우선순위 결정 과정에 시스템 관리자의 피드백을 반드시 포함해야 한다. 본 논문은 이러한 한계를 해결하기 위해 게임 이론적 및 최적화 기반 의사결정 모델들을 연구하고 제안하는 것을 목표로 한다. 첫째, 최단 경로 수와 Domain Admin에 도달 가능한 노드 수를 최소화하는 원칙에 기반한 허니팟/디코이 배치 모델을 제안한다. 둘째, 이 모델을 기반으로 AD 그래프의 동적/시간적 특성을 고려하는 방어 전략을 도입하며, 목표는 최악의 경우 사고 대응 시간을 최대화하는 디코이 배치 위치를 찾는 것이다. 셋째, 각 고위험 공격 경로에 대해 IT 관리자에게 조치 판단을 요청하는 적응형 우선순위 모델을 도입한다. 마지막으로, 유사한 위험 특성을 가진 엣지에 시스템 관리자의 결정을 일반화하는 일반적인 적응형 엣지 제거 정책을 찾음으로써 시스템 관리자의 승인 부담을 최소화하는 end-to-end 적응형 우선순위 모델을 도입한다. 우리는 제안한 모든 모델의 기반이 되는 문제들이 계산적으로 난해함을 보인다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다
Code Owns the Simulation, Jev Owns the Evaluation
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.