MAGIC: 조밀한 보상 강화학습을 통한 점진적 구성 기반의 혼합 세분성 에이전트 그래프
MAGIC: Mixed-Granularity Agent Graphs via Incremental Construction with Dense-Reward Reinforcement Learning
한국어 초록
협업 토폴로지(collaboration topology)는 LLM 기반 멀티 에이전트 시스템의 성능과 실행 비용을 모두 좌우한다. 과제마다 복잡도와 요구되는 역량이 다르기 때문에, 최근 접근법들은 에이전트의 참여 여부와 정보 흐름을 명시하는 과제별 협업 그래프를 생성한다. 그러나 대표적인 토폴로지 생성기들은 조직 전체에 걸쳐 개별 에이전트 또는 사전에 정의된 그룹 중 하나만을 사용하므로, 하위 과제마다 달라지는 협업 요구를 간과한다. 우리의 핵심 통찰은 각 기능적 역할(functional role)마다 세분성(granularity)을 국소적으로 선택하여, 하나의 조직 안에서 세밀한 제어와 재사용 가능한 협업 패턴을 결합하는 것이다. 이러한 조직을 학습하려면 조합적으로 방대한 구성 공간을 탐색해야 하는데, 최종 답변에 대한 보상만으로는 중간 피드백이 제한적이다. 이에 우리는 혼합 세분성 그래프 생성을 위한 조밀한 보상(dense-reward) 강화학습 프레임워크인 MAGIC을 제안한다. 구체적으로, MAGIC은 기능적 역할을 순차적으로 선택하고, 이를 단일 에이전트 또는 재사용 가능한 그룹으로 인스턴스화한 뒤, 기존 유닛에 연결하는 방식으로 혼합 세분성 에이전트 그래프를 구성한다. 우리는 현재 정책에서 샘플링한 궤적(trajectory)의 리턴(return)을 사용해 구성 정책을 직접 최적화하며, 누적 과제 보상은 보존하면서 프로브 기반 유용성 신호와 구조적 신호로부터 중간 피드백을 제공하기 위해 포텐셜 기반 보상 셰이핑(potential-based reward shaping)을 사용한다. MAGIC은 여덟 개의 벤치마크에서 최신 기준선(baseline)들을 능가하며, 효율성 연구에서 뛰어난 추론 효율성을 보여준다.
원문 초록
Collaboration topology shapes both the performance and execution cost of LLM-based multi-agent systems. Because tasks differ in complexity and required capabilities, recent approaches generate task-specific collaboration graphs that specify agent participation and information flow. However, representative topology generators use either individual agents or predefined groups throughout an organization, overlooking differing collaboration needs across subtasks. Our key insight is to select granularity locally for each functional role, combining fine-grained control with reusable collaboration patterns within one organization. Learning such organizations requires exploring a combinatorial construction space with limited intermediate feedback from final-answer rewards. Therefore, we propose MAGIC, a dense-reward reinforcement learning framework for mixed-granularity graph generation. Specifically, MAGIC constructs a mixed-granularity agent graph by sequentially selecting a functional role, instantiating it as a single agent or reusable group, and connecting it to existing units. We directly optimize the construction policy using returns from trajectories sampled under the current policy and use potential-based reward shaping to provide intermediate feedback from probe-based utility and structural signals while preserving the cumulative task reward. MAGIC outperforms state-of-the-art baselines across eight benchmarks and demonstrates strong inference efficiency in our efficiency study.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26667v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Contradiction Judge Counted Reported Teammate Errors as Hallucinations: An Assertion-Aware Re-Score of One Multi-Agent LLM Harness
GaP: 변동적 자동화 태스크를 위한 그래프-as-정책 멀티 에이전트 자기학습 하네스
GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks
Mean Field Reinforcement Learning: Theory and Algorithms for Mean Field Control
범용 협력 지능: 회복력 있는 다중 에이전트 생태계를 위한 인지 아키텍처
General Collaborative Intelligence: Architecting Cognition for Resilient Multi-Agent Ecosystems
다중 에이전트 무인 시스템은 고립된 자기 중심적 sensing에서 협력 지능으로 이동하고 있으며, 분산 에이전트들이 압축된 특징(feature)을 교환하여 어떤 단일 에이전트도 벗어날 수 없는 국소 관측의 함정—가림(occlusion), 유한한 센서 범위, 환경 열화—to overcome. 해당 분야는 아키텍처, 통신, embodied, 회복력(resilience), 신뢰 차원에서 성숙해 왔지만, 기존 서베이는 이러한 차원을 각각 따로 다루며 그 의존 관계를 거의 드러내지 않는다. 본 리뷰는 두 가지 상보적 렌즈를 통해 통합적 종합을 제시한다. 첫째는 협력 단계, 통신 패러다임, 융합 아키텍처, 학습 전략, 응용 도메인에 걸친 5차원 분류체계이다. 둘째는 인지적 시너지를 운영 기준으로 전환하는 세 가지 인지적 시너지 조건—의미적 모호성 해소(Semantic Disambiguation), 화용론적 정보 교환(Pragmatic Information Exchange), 선제적 정보 탐색(Proactive Informational Foraging)—이다. 이러한 렌즈를 통해 협력 아키텍처와 토폴로지, 채널을 미분 가능한 파이프라인 구성요소로 다루는 신경-통신 공동 설계(neural-communication co-design), 다중 에이전트 강화학습을 통한 embodied 행동-지각 루프, 동기화·불확실성 정량화·라벨 효율적 학습을 위한 회복력 메커니즘을 조망한다. 이어 이러한 진전을 V2X, 무인 항공, 산업 물류, 스마트 시티의 네 가지 운영 도메인과 안전-프라이버시-유용성(safety-privacy-utility) 삼각 관계에 대응시킨다. 벤치마크 포화와 평가 파편화에 대응하기 위해, 본문은 협력 방법의 트레이드오프를 연구 간 비교 가능하게 만드는 성숙도 모델을 갖춘 5기둥 scoring 프로토콜 GCI-Bench를 제안한다. 재현성, sim-to-real 격차, 협력이 성능을 저하시키는 조건에 대한 비판적 성찰을 통해 미해결 과제를 밝히고, 실세계 불확실성 하에서 범용 협력 지능을 향한 방향을 제시한다.
연속 시간에서의 피드백 결합 메모리 시스템
Feedback-Coupled Memory Systems in Continuous Time
피드백 결합 메모리 시스템(FCMS) 아키텍처는 네 가지 추상 연산자를 통해 폐루프 조정을 형식화하며, 그 중 에이전트 업데이트 연산자 $f_i$와 환경 업데이트 연산자 $Ψ$ 두 가지는 원래 프레임워크에서 공리적으로 미정의 상태로 남아 있다. 이를 해결하기 위해, $f_i$는 메커니즘 기반 지능(MBI, Mechanism-Based Intelligence)으로 정의되는데, 에이전트들은 분산 가격 메커니즘과 경제 원칙을 통해 로컬로 업데이트된다. $Ψ$는 결합 메모리 그래프 프로세스(CMGP, Coupled Memory Graph Process)로 정의되며, 이는 비-마르코프(non-Markovian) 프레임워크로서 환경을 외부 강제 없이 궤적 이력을 일관되게 기록하고 반응하는 물리적 기질로 취급한다. 이로부터 도출된 연속 시간 FCMS 구체화는 계산 가능한 임계값 $4β^2 < 2ημγ^2$에 의해 지배되는 Lyapunov 전역 소산성(global dissipativity)을 달성한다. 이는 이산 FCMS 안정성 조건 $4ηβ^2 < γ$와 CMGP의 물리적 분기 임계값 $α_c = 1/K$ 모두를 일반화하며, 메모리 소산이 피드백 이득을 상회해야 한다는 보편적 조직화 원리를 확인한다. $N=2$ 에이전트를 사용한 수치 시뮬레이션과 $N=10^6$에서의 평균장(mean-field) 검증은 안정성 임계값과, 이를 위반했을 때 나타나는 자기 강화 조정 캐스케이드를 확인한다.
AI 에이전트를 위한 규범 집행: 다중 에이전트 시스템에서 견고한 행동 형성
Norm Enforcement for AI Agents: Robustly Shaping Behavior in Multi-Agent Systems
AI 에이전트는 다양한 목표를 추구하고 보상을 두고 경쟁하는 공유 환경에 점점 더 많이 배포되고 있다. 이러한 다중 에이전트 간 경쟁은 집단적 비용을 치르며 개인적 이익을 추구하는 행동으로 이어질 수 있다—예를 들어, 마케팅 에이전트들은 소셜 미디어에서 참여도를 두고 경쟁한 결과로 오해를 유발하는 콘텐츠를 게시할 수 있다. 인간 사회는 허용 가능한 행동을 제한하는 규범과, 위반을 감지하고 제재하는 집행 메커니즘을 통해 이러한 문제를 해결한다. 이에 착안하여, 우리는 언어 모델(language model) 에이전트를 위한 규범 집행 메커니즘을 연구한다. 단순한 집행 메커니즘은 명시적으로 학습되거나 프롬프트되지 않았더라도 정렬이 어긋난 에이전트에 의해 경쟁적 우위를 위해 악용된다는 것을 발견하였다. 이에 우리는 더욱 견고한 메커니즘 설계에 주목하고, 두 가지 핵심 요소를 파악하였다: 각 에이전트의 신뢰성을 시간에 따라 추정하는 것, 그리고 반복적인 위반 행동에 대해 가중되는 제재로 이 추정치를 갱신하는 것이다. 세 가지 시뮬레이션 환경과 다양한 에이전트 집단에 걸쳐, 이 원칙들에 기반한 메커니즘은 악용에 저항하면서도 기준선과 비슷하거나 더 낮은 비용으로 규범 위반을 제재한다. 우리의 결과는 규범 집행 메커니즘이 에이전트 행동을 형성하는 확장 가능한 수단으로 기능할 수 있음을 보여주지만, 이는 자신이 관장하는 시스템의 일부가 될 것을 예상하여 설계된 경우에만 가능하다. 코드와 데이터는 https://yaowenye.com/norm-enforcement 에서 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.