PyTorchKR Papers

최신 논문

총 1,869편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28456v1cs.MA

Is Lying an Emergent Behaviour in LLMs? Evidence from Gaslighting AI agents in a Sustainability Game

LLMs agents are increasingly used in multi-agent settings, yet their behaviour in sustainability games remains largely unexplored. This work investigates whether lying can emerge among LLM agents in a competitive sustainability game in which agents are informed that common resources can regenerate, although regeneration does not actually occur. We develop an agent-based model of a sustainability game in which agents manage industrial, military, and ecological resources, and interact through a network. LLM agents can observe neighbours' status, declare future attacks, receive permission to lie, and access reputation information, while rule-based agents provide an interpretable behavioural baseline. The results show that neighbour information strongly changes system dynamics, increasing attacks while improving biosphere retention and coexistence. Also, the presence of future declarations reduce extinction risk without suppressing conflict. Behaviourally, deception emerges even when agents are not explicitly allowed to lie, and explicit permission mainly increases bluffing and diversion rather than direct backstabbing. Finally, the presence of reputation memory and information about the current biosphere level reduces system ecological depletion. These findings suggest that deception can arise as an emergent behaviour in LLM-agent systems and that communication between LLM-agents could support sustainability while dealing with risk.

arXiv:2606.28339v1cs.NI

Multi-Agent DRL for QoS and Energy Optimization in RIS-Enabled Open-RAN Industrial 6G TN/NTN Networks

Industrial 6G networks require ultra-reliable, low-latency, and energy-efficient connectivity in dynamic and blockage-prone environments, where conventional terrestrial deployments often fail to ensure stable coverage. Hence, in this paper, we propose a RIS-enabled Open-RAN framework for integrated terrestrial/non-terrestrial (TN/NTN) industrial 6G networks, in which UAVs-mounted reconfigurable intelligent surfaces (RISs) cooperate with ground radio units and a high-altitude platform (HAP) to enhance connectivity for dense industrial IoT devices. Owing to the high dimensionality and strong coupling among decision variables, conventional optimization techniques become computationally intractable. To overcome this limitation, the joint optimization problem of data rates, latency, and energy consumptions is formulated as a decentralized partially observable Markov decision process (Dec-POMDP) and solved using a multi-agent deep reinforcement learning framework. Simulation results show improvements of up to 75\% in data rate, 25\% latency reduction, and 16\% energy savings compared with state-of-the-art learning-based and non-RIS baselines, demonstrating the effectiveness of RIS-assisted Open-RAN intelligence for industrial 6G networks.

arXiv:2606.28182v1cs.LG

LLawCo: 구현체 다중 에이전트 행동 모델링을 위한 협력 법칙 학습

LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior

최근 분산(decentralized) 및 부분 관측(partially observable) 환경에서 동작하는 구현체 에이전트는 점점 더 많은 관심을 받고 있다. 그러나 기존 대규모 언어 모델(LLM) 기반 에이전트는 종종 파트너와 정렬(alignment)되지 않거나 환경 상태와 불일치하는 행동을 보여, 비효율적인 협력과 낮은 과제 성공률로 이어진다. 이 문제를 해결하기 위해, 구현체 에이전트가 파트너와 과제 목표 모두에 자율적으로 정렬할 수 있도록 하는 새로운 프레임워크인 협력 법칙 학습(Learning Laws of Cooperation, LLawCo)을 제안한다. 본 프레임워크는 에이전트가 과거 실패를 성찰하여 정렬되지 않은 행동 패턴을 추출하고, 이를 "필요할 때 대화하기(Talk when necessary)"와 "파트너를 기다리기(Wait for partner)"와 같은 고수준 행동 법칙을 도출하는 데 활용한다. 이러한 법칙은 지도 미세조정(supervised fine-tuning)을 통해 에이전트의 사고의 연쇄(Chain-of-Thought)에 명시적으로 통합되어, 추론을 과제 요구사항 및 다른 에이전트의 행동과 정렬한다. 본 접근법을 평가하기 위해 PARTNR 환경을 기반으로 한 대규모 다중 에이전트 의사소통 및 협력 계획 벤치마크인 PARTNR-Dialog를 도입한다. 기존 과제와 새 벤치마크에 대한 실험은 협력 효율성과 과제 성공률에서 상당한 향상을 보여준다. 4개의 백본 LLM에 걸쳐, 본 방법은 최신(state-of-the-art) 오픈소스 의사소통 에이전트 프레임워크 대비 PARTNR-Dialog 벤치마크에서 평균 성공률 4.5%, TDW-MAT 벤치마크에서 6.8%의 향상을 달성한다. 자세한 내용은 LLawCo 프로젝트 페이지를 참조: https://www.merl.com/research/highlights/LLawCo

arXiv:2606.20014v2cs.LG

멀티 에이전트 게임에서의 계층적 제어: LLM 기반 계획 및 RL 실행

Hierarchical Control in Multi-Agent Games: LLM-based Planning and RL Execution

강화학습(RL)은 순차적 의사결정에서 강력한 성능을 달성했으나, 희소 보상, 큰 상태-행동 공간, 그리고 협력 전략 학습의 어려움으로 인해 복잡한 멀티 에이전트 환경으로의 확장은 여전히 어렵습니다. 우리는 사전학습된 대규모 언어 모델(LLM)이 에이전트 팀을 위한 전문화된 RL 스킬 정책 중에서 선택하는 중앙집중식 전략적 컨트롤러로 작동하고, RL 정책은 반응형 저수준 실행을 담당하는 계층형 아키텍처를 제안합니다. 우리는 이 하이브리드 시스템을 경쟁적인 2대2 King of the Hill 환경에서 비헤이비어 트리(BT) 및 스킬 분해 없는 엔드-투-엔드 학습인 'Flat' RL 기준 모델과 비교하여 평가합니다. LLM+RL 시스템은 스킬 분해 없이 학습된 Flat RL보다 두 방법 모두 유의미하게 앞서면서, 수작업으로 제작된 BT와 통계적으로 동등한 작업 성능(46.4% 대 51.5% 승률, $p=0.103$)을 달성합니다. 사용자 연구($n=15$)에 따르면 60%의 참가자가 행동 적응성과 전술적 다양성을 이유로 LLM+RL 에이전트를 가장 인간 같다고 인지했습니다($p=0.027$). 이러한 결과는 사전학습된 LLM 추론이 사전학습된 RL 스킬을 효과적으로 조율하여, 수동 규칙 엔지니어링 없이 경쟁력 있는 멀티 에이전트 조율과 우수한 인지된 신빙성을 달성할 수 있음을 보여줍니다.

arXiv:2606.27909v1cs.CL

삼각 늑대인간: LLM의 다단계 마음 이론을 위한 조커 역할

Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

기존의 이원적(dyadic) 사회 추론 게임이 LLM의 마음 이론(Theory of Mind) 능력을 충분히 평가하지 못한다는 문제를 해결하기 위해, 투표로 추방될 때 승리하는 역전된 유틸리티를 가진 조커(Jester) 세력을 늑대인간 게임에 추가한 삼각 유인 구조 벤치마크를 제안한다. GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B 대상 60판 실험에서 조커가 60~70%의 게임을 승리한 반면 늑대인간은 20%를 넘지 못했으며, DeepSeek만이 의도적으로 의심스럽게 보이지 않으면서 의심을 끄는 미묘한 전략을 학습해 자기학습 루프에서 가장 큰 이득을 얻었다.

arXiv:2603.00374v2cs.AI

오프라인 게임 이론적 다중 에이전트 강화학습에서의 보수적 균형 발견

Conservative Equilibrium Discovery in Offline Game-Theoretic Multiagent Reinforcement Learning

전략의 오프라인 학습은 알고리즘을 고정된 상태-행동 궤적 데이터셋으로 제한함으로써 데이터 효율성을 극대화한다. 우리는 목표가 오프라인 학습 제약 하에서 게임을 풀어야 하는 혼합 동기(mixed-motive) 다중 에이전트 설정에서 이 문제를 고려한다. 우리는 먼저 이 문제를 후보 균형들 중에서 선택하는 관점으로 구성한다. 데이터셋이 게임 역학의 아주 작은 부분만 알려줄 수 있기 때문에, 오프라인 게임 풀이에서는 제안된 해가 진정한 균형인지조차 확인하는 것이 일반적으로 불가능하다. 따라서 우리는 이용 가능한 정보에 기반하여 후보들 사이에서 낮은 후회(regret, 즉 균형에 대한 근접성)의 상대적 확률을 고려한다. 구체적으로, 우리는 온라인 게임 풀이 접근법인 Policy Space Response Oracles(PSRO)를 확장하여 게임 역학 불확실성을 정량화하고, 진정한 게임에서 낮은 후회를 가질 가능성이 더 높은 해로 치우치도록 RL 목적함수를 수정한다. 또한 PSRO에서 전략 탐험을 안내하기 위해 오프라인 설정에 맞춘 새로운 메타 전략 솔버를 제안한다. 오프라인 강화학습 접근법의 보수주의(Conservatism) 원칙을 전략 탐험에 통합한 것이 우리 접근법의 이름 COffeE-PSRO에 반영된다. 실험은 COffeE-PSRO가 최신 오프라인 접근법보다 더 낮은 후회의 해를 추출할 수 있음을 보여주며, 알고리즘 구성 요소, 경험적 게임 충실도(empirical game fidelity), 전반적 성능 사이의 관계를 밝힌다.

arXiv:2606.26574v1cs.LG

복잡한 행동 공간에 대한 행동 인수분해 재고찰

Revisiting Action Factorization for Complex Action Spaces

복잡한 하이브리드 이산-연속 행동 공간에서 독립 네트워크, VDN, QPLEX, Auto-Regressive 등 행동 인수분해(factorization) 방법을 PPO·SAC·DQN과 세 가지 행동 공간 설정으로 경량 환경 네 곳에서 횡단 비교하고, 분기 크리틱(branching critic)을 쓰는 VDN-PPO와 PPO-MIX를 제안한다. 분기 듀얼링 구조가 계산 비용과 성능의 균형이 가장 좋고 제안 PPO 변형이 다른 PPO 인수분해보다 우수하며, Auto-Regressive가 전체 최고 성능, 네이티브 연속 SAC가 이산·하이브리드보다 뛰어나지만 두 방식 모두 계산 비용이 더 크다.

arXiv:2409.01447v3cs.LG

2인 제로섬 확률적 게임에서의 분산형 최적응답 기반 학습: 유한 표본 분석

Decentralized Best-Response-Based Learning in Two-Player Zero-Sum Stochastic Games: A Finite-Sample Analysis

2인 제로섬 행렬·확률적 게임에서 각 플레이어가 자신의 보수 관측만으로 평활화 최적응답(best response)을 향해 정책을 갱신하는 분산형 학습의 유한 표본 분석을 제시하고, 확률적 게임에는 유도 행렬 게임의 최적응답 학습과 분산형 model-free minimax 가치 반복을 결합한 VI-SBR 알고리즘을 제안한다. 탐험 강화 변형은 ε-내시(Nash) 균형 도달에 Õ(ε⁻⁸) 표본 복잡도(sample complexity)를 달성하며, 행렬 게임에서는 ε-내시 분포에 O(ε⁻¹) 유한 표본 보장을 확립한다.

arXiv:2606.26575v1cs.RO

IDEA: 효과 정렬을 통한 동역학 불일치 둔감 다중 에이전트 제어 sim-to-real 전이

IDEA: Insensitive to Dynamics Mismatch via Effect Alignment for Sim-to-Real Transfer in Multi-Agent Control

다중 에이전트 제어의 sim-to-real 전이에서 동역학 불일치에 취약한 저수준 정책 학습 문제를, 폐루프 제어로 이산적 의미적 행동과 무작위 환경 구조를 결합한 효과 정렬(effect alignment) 및 에이전트 간 행동 동기화로 완화하는 IDEA를 제안한다. 네 가지 다중 에이전트 내비게이션 과제에서 주류 전이 방법 대비 학습 효율과 실세계 성공률이 크게 향상되어, 동역학 불일치 하에서도 견고한 배포가 가능함을 보였다.

arXiv:2606.26203v1cs.AI

에이전틱 인프라를 위한 에이전틱 분석: DAO 및 기업형 AI 프로토콜 비교 거버넌스를 위한 LLM 기반 파이프라인

Agentic Analysis for Agentic Infrastructure: An LLM-Powered Pipeline for Comparative Governance of DAO and Corporate AI Protocols

에이전트 상호운용성 표준 ERC-8004(무허가·온체인)와 Google A2A(기업 주도)의 거버넌스 참여 기록 4,323건에 LLM 기반 자동 주석, 토픽 모델링, 다층 네트워크 분석을 결합한 비교 파이프라인을 적용해 제도 설계가 담론 주제와 커뮤니티 구조를 어떻게 형성하는지 분석한다. 거버넌스 형태는 논의 초점에 영향을 주지만 두 체제 모두 유사한 참여 불평등과 커뮤니티 분열을 보였고, 무허가 환경에서는 담론 정렬이 더 조밀해 개방형 거버넌스가 주제적 수렴을 촉진할 수 있음을 시사한다.

arXiv:2606.26123v1cs.NI

6G SD-RAN에서 동적 VR 슬라이스 관리를 위한 프라이버시 인식 에이전트 협업

Privacy-Aware Agent Collaboration for Dynamic VR Slice Management in 6G SD-RAN

6G SD-RAN에서 VR 슬라이스 동적 자원 관리를 위해 이동성 예측과 정보 병목(information bottleneck) 인코더를 결합한 프라이버시 인식 다중 에이전트 강화학습(MARL) 프레임워크를 제안하여, 협력 에이전트가 사용자 데이터 프라이버시를 보호하면서 end-to-end VR 링크 전반의 자원 분배와 처리량을 최적화한다. 시뮬레이션에서 기존 방법 대비 처리량이 최대 34% 향상되고 자원 사용은 28% 감소하며 프라이버시 유출은 85% 줄어든다.

arXiv:2606.26094v1cs.LG

RevengeBench: 행동 실험을 통한 코드 공간 정책의 역공학

RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments

게임 환경에서 에이전트의 행동 궤적만으로 숨겨진 결정 프로그램을 실행 가능한 코드로 복원하는 역문제를 다루며, CodeClash 기반 5개 게임·75개 Elo 교정 정책으로 구성된 RevengeBench에서 맞춤형 상대방 정책 탐침과 실행 가설 제출을 평가한다. 12개 최전선 LLM의 복원 품질은 초기 행동 거리의 34~72%를 줄였고, 복원된 정책은 특히 약한 모델에서 상대방 모델링과 대항 전략 설계에 측정 가능한 경쟁적 이점을 제공했다.

arXiv:2606.25978v1cs.MA

Multi-Agent Goal Recognition with Team- and Goal-Conditioned Reinforcement Learning and Factorized Branch-and-Bound

다중 에이전트 목표 인식에서 관찰된 궤적만으로 어떤 에이전트가 팀을 이루고 각 팀의 목표가 무엇인지 동시에 추론해야 하며, MAGR-BB는 팀·목표 조건부 공유 정책을 점수 모델로 쓰는 분해형 분기한정(branch-and-bound) 탐색으로 조합적으로 커지는 가설 공간을 효율적으로 탐색한다. 다중 에이전트 Blocksworld 벤치마크에서 완전 탐색과 동일한 최상위 가설 순위를 유지하면서 가설 생성량을 크게 줄이고 누적 인식 런타임도 대폭 단축한다.

arXiv:2606.25526v1cs.LG

Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning

협력형 다중 에이전트 강화학습(MARL)에서 독립 액터의 순차 정책 업데이트마다 공동 advantage를 중요도 샘플링(importance sampling)으로 재추정할 때 분산이 지수적으로 커져 수렴이 불안정해지는 문제를 이론·실험으로 분석하고, advantage 변동 상한을 제어하는 클리핑 목적함수와 clip-HAPPO·clip-HATRPO를 제안한다. ε-Nash 균형에 대한 단조 개선과 sub-linear 수렴을 보장하며, 세 가지 MARL 벤치마크에서 낮은 advantage 분산과 안정적 학습을 통해 대부분 환경에서 베이스라인을 능가했다.

arXiv:2606.25335v1cs.LG

Stagnant Neuron: Towards Understanding the Plasticity Loss in Multi-Agent Reinforcement Learning Value Factorization Methods

다중 에이전트 강화학습(MARL) 가치 분해(value factorization) 방법의 순차 태스크 전환 시 플라스틱성 손실 원인을 정체 뉴런(stagnant neuron)으로 규명하고, 정체 뉴런을 동결된 지식 뉴런·재초기화된 활성 뉴런·보상 뉴런으로 구성된 복합 유닛으로 대체하는 KNIFE를 제안한다. SMACv2, predator-prey, 행렬 게임 실험에서 KNIFE는 기존 플라스틱성 주입(plasticity injection) 방법보다 적응 성능이 크게 향상된다.

arXiv:2606.25073v1cs.LG

GCT-MARL: Graph-Based Contrastive Transfer for Sample-Efficient Cooperative Multi-Agent Reinforcement Learning

협력형 다중 에이전트 강화학습(MARL)에서 환경·과제가 바뀔 때마다 처음부터 학습하는 비용을 줄이기 위해, MAIL의 다중 뷰 그래프 대조 학습 위에 뷰별 적응적 정렬 손실과 2단계 학습 프로토콜을 더한 GCT-MARL 전이 학습 프레임워크를 제안한다. 에이전트 수와 구성이 달라지는 동질·이질 전이와 연속 학습 설정에서 처음부터 학습 대비 목표 과제 수렴을 크게 가속하는 것을 실험으로 보였다.

arXiv:2606.25389v1cs.AI

Offline Multi-agent Continual Cooperation via Skill Partition and Reuse

Extracting skills from multi-agent offline dataset improves learning efficiency via sharing task-invariant coordination skills among tasks. In settings where tasks occur sequentially and the space of skills grows exponentially, existing approaches that rely on heuristically designed and fixed-sized skill libraries struggle to resolve the problem of distributional shift and interference, facing catastrophic forgetting and plasticity loss. To address this problem and endow agents with the ability to continually discover and reuse coordination skills in open-environment, we propose COMAD, a principled framework for Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse. We first discover skills from mixed multi-agent behavior data with an auto-encoder to transform coordination knowledge into reusable coordination skills. Then we construct a skill-augmented policy learning objective with multi-head architectures, explicitly guiding the advantage function with reusable skills identified via a density-based reusability estimator. Theoretical analysis shows our method approximates the optimum of a continual skill discovery problem. Empirical results across diverse MARL benchmarks show that COMAD continually expands its skill library to mitigate interference, achieving superior forward and backward transfer for task streams compared to multiple baselines.

arXiv:2606.24937v1cs.AI

The Hitchhiker's Guide to Agentic AI: From Foundations to Systems

The Hitchhiker's Guide to Agentic AI is a comprehensive practitioner's reference for building autonomous AI systems. The book covers the full stack from first principles to production deployment, organized around a central thesis: building great agentic systems requires understanding every layer of the pipeline, not just one. The book opens with the LLM substrate -- transformer architecture, GPU systems, training and fine-tuning (SFT,LoRA, MoE), model compression, and inference optimization -- treated as essential foundations rather than the primary focus. It then develops the alignment and reasoning layer: reinforcement learning from human feedback (RLHF), PPO, DPO and its variants, GRPO, reward modeling, and RL for large reasoning models including chain-of-thought and test-time scaling. The second half is devoted to agentic AI proper. Topics include agentic training and trajectory-based RL, retrieval-augmented generation (RAG and Agentic RAG), memory systems (in-context, external, episodic, and semantic), agent harness design and context management, and a taxonomy of agent design patterns. Inter-agent coordination is covered in depth: the Model Context Protocol (MCP), agent skills and tool use, the Agent-to-Agent (A2A) communication protocol, and multi-agent architectures spanning centralized, decentralized, and hierarchical topologies. The book concludes with agent development frameworks, agentic UI design, evaluation methodology for agentic tasks, and production deployment. Each chapter pairs rigorous theoretical foundations with implementation guidance, code examples, and references to the primary literature.

arXiv:2605.10913v3cs.AI

Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

As LLM agent systems take on more complex tasks, they increasingly rely on meta-agents: higher-order agents that create, operate on and manage other agents. Meta-agent operations such as coordinating agents, halting risky actions before execution, or repairing failed runs, require runtime manipulation of agentic execution. Yet existing agentic substrates make this difficult: they expose only transcripts and environment snapshots, forcing meta-agents to build ad hoc tooling to reconstruct and operate over full execution state. Therefore, we introduce Shepherd, a Python substrate grounded in functional programming principles, where an agent's execution is itself a first-class object that a meta-agent can easily inspect and transform. Every model action, tool call, and environment change becomes a structured event in a reversible, Git-like execution trace, where any past state can be reverted 5x faster than docker commit and fork. Three example use cases show Shepherd's versatility: (1) a supervisor meta-agent prevents conflicts among parallel coding agents, lifting pair-coding pass rate from 28.8% to 54.7% on CooperBench; (2) a counterfactual optimization meta-agent repairs agent workflows by proposing edits and replaying runs from the point of changed behavior, outperforming MetaHarness on Terminal-Bench 2.0 by 12.8% with 58% lower wall-clock; (3) a training meta-agent picks fork points during rollouts to improve credit assignment in long-horizon agentic RL, doubling GRPO's uplift on Terminal-Bench 2.0. We open-source Shepherd to enable principled and efficient operations over agentic execution for both users and meta-agents.

arXiv:2606.24601v1cs.AI

ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

Multi-agent reinforcement learning (MARL) addresses the problem of training multiple agents that pursue collaborative, competitive, or mixed objectives. Prior work has investigated transfer learning between source and target domains in MARL; however, the majority of existing approaches impose the constraint that the dimensionalities of the observation space and the global state space must be identical across domains. In this paper, we introduce a method that explicitly accommodates mismatched state-space dimensionalities between source and target domains. The proposed approach, ASALT, incorporates both observation-level and state-level adapters that map the target-domain observations and global states into a shared embedding space, thereby enabling more effective transfer of knowledge across both actors and critics. These adapters can generate embeddings that support efficient strategy transfer across heterogeneous domains. Experimental results on multiple configurations in standard benchmark environments demonstrate that ASALT surpasses existing baselines in terms of sample efficiency and global return in cooperative settings, but its effectiveness depends on the degree of mismatch between source and target domains. Furthermore, our findings indicate that ASALT mitigates negative transfer, which frequently constitutes a major obstacle when transferring policies between domains with differing observation and action spaces.