PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28182v1cs.LG

LLawCo: 구현체 다중 에이전트 행동 모델링을 위한 협력 법칙 학습

LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior

최근 분산(decentralized) 및 부분 관측(partially observable) 환경에서 동작하는 구현체 에이전트는 점점 더 많은 관심을 받고 있다. 그러나 기존 대규모 언어 모델(LLM) 기반 에이전트는 종종 파트너와 정렬(alignment)되지 않거나 환경 상태와 불일치하는 행동을 보여, 비효율적인 협력과 낮은 과제 성공률로 이어진다. 이 문제를 해결하기 위해, 구현체 에이전트가 파트너와 과제 목표 모두에 자율적으로 정렬할 수 있도록 하는 새로운 프레임워크인 협력 법칙 학습(Learning Laws of Cooperation, LLawCo)을 제안한다. 본 프레임워크는 에이전트가 과거 실패를 성찰하여 정렬되지 않은 행동 패턴을 추출하고, 이를 "필요할 때 대화하기(Talk when necessary)"와 "파트너를 기다리기(Wait for partner)"와 같은 고수준 행동 법칙을 도출하는 데 활용한다. 이러한 법칙은 지도 미세조정(supervised fine-tuning)을 통해 에이전트의 사고의 연쇄(Chain-of-Thought)에 명시적으로 통합되어, 추론을 과제 요구사항 및 다른 에이전트의 행동과 정렬한다. 본 접근법을 평가하기 위해 PARTNR 환경을 기반으로 한 대규모 다중 에이전트 의사소통 및 협력 계획 벤치마크인 PARTNR-Dialog를 도입한다. 기존 과제와 새 벤치마크에 대한 실험은 협력 효율성과 과제 성공률에서 상당한 향상을 보여준다. 4개의 백본 LLM에 걸쳐, 본 방법은 최신(state-of-the-art) 오픈소스 의사소통 에이전트 프레임워크 대비 PARTNR-Dialog 벤치마크에서 평균 성공률 4.5%, TDW-MAT 벤치마크에서 6.8%의 향상을 달성한다. 자세한 내용은 LLawCo 프로젝트 페이지를 참조: https://www.merl.com/research/highlights/LLawCo

arXiv:2606.25389v1cs.AI

Offline Multi-agent Continual Cooperation via Skill Partition and Reuse

Extracting skills from multi-agent offline dataset improves learning efficiency via sharing task-invariant coordination skills among tasks. In settings where tasks occur sequentially and the space of skills grows exponentially, existing approaches that rely on heuristically designed and fixed-sized skill libraries struggle to resolve the problem of distributional shift and interference, facing catastrophic forgetting and plasticity loss. To address this problem and endow agents with the ability to continually discover and reuse coordination skills in open-environment, we propose COMAD, a principled framework for Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse. We first discover skills from mixed multi-agent behavior data with an auto-encoder to transform coordination knowledge into reusable coordination skills. Then we construct a skill-augmented policy learning objective with multi-head architectures, explicitly guiding the advantage function with reusable skills identified via a density-based reusability estimator. Theoretical analysis shows our method approximates the optimum of a continual skill discovery problem. Empirical results across diverse MARL benchmarks show that COMAD continually expands its skill library to mitigate interference, achieving superior forward and backward transfer for task streams compared to multiple baselines.