arXiv:2608.09251v1 cs.MA

MoRSE: 역할-하위 작업 전문가 혼합을 갖춘 과업 지향 멀티 에이전트 시스템

MoRSE: Task-Oriented Multi-Agent System with Mixture of Role-Subtask Experts

Peiwen Li, Shiyang Zhang, Yangtian Zhang, Sizhuang He, David van Dijk, Rex Ying

제출 2026-08-10

한국어 초록

대규모 언어 모델 기반 멀티 에이전트 시스템은 최근 복잡한 장기(long-horizon) 과업에서 강력한 잠재력을 보여 왔다. 그러나 기존 방법은 주로 다양한 하위 작업에 대한 매개변수 적응 없이 거친 수준의 프롬프트 차원 구분에 의존하며, 그 결과 에이전트 간 이질성이 충분하지 않고 전문화된 역량이 제한되어 복잡한 요구 사항을 가진 과업에서 성능의 병목이 발생한다. 이를 해결하기 위해 본 논문에서는 과업 구조와 매개변수 수준 모두에서 (역할, 하위 작업) 조건부 전문화로 에이전트를 구분하는 과업 지향 멀티 에이전트 시스템인 MoRSE(Task-Oriented Multi-Agent System with Mixture of Role-Subtask Experts)를 제안한다. 과업 구조 수준에서 에이전트의 책임을 명확히 하기 위해, 각 과업을 의존성을 고려한 하위 작업의 방향성 비순환 그래프(Directed Acyclic Graph)로 분해하고 각 에이전트에 특정 (역할, 하위 작업)을 할당하는 과업 지향 멀티 에이전트 시스템을 정식화하여, 협업하는 에이전트 전반에 과업 수준의 전문화를 도입한다. 또한 다양한 역할 및 하위 작업의 매개변수 적응 요구를 해결하기 위해, 하위 작업을 위한 프로토타입 기반 의미 라우터(semantic router)를 갖춘 동적 (역할, 하위 작업) LoRA 전문가 혼합 모듈을 제안하며, 이를 통해 공유 LLM 기반 위에서 비용 효율적으로 에이전트에 매개변수 수준의 전문화를 더한다. 이어서, 희소한 과업 보상 하에서 전문가와 라우터를 안정적으로 함께 최적화하기 위해, 라우팅 결정으로 인해 발생하는 경로 간 분산으로부터 전문가 업데이트를 분리하여 전문가 품질과 라우팅 품질을 분리하는 2층 크레딧 할당(two-layer credit assignment)을 갖춘 계층적 그룹 상대 정책 최적화(hierarchical group-relative policy optimization)를 추가로 제안한다. 세 가지 백본에 걸친 코드 생성 벤치마크 실험을 통해 제안 방법의 효과를 입증하였으며, 전체 과업 성능과 단계별 성능이 모두 향상되었고, 학습된 전문화로부터 얻은 이득은 보류(held-out)된 과업 범주와 도메인 전반으로 일반화된다.

원문 초록

Large language model-based multi-agent systems have recently shown strong potential for complex, long-horizon tasks. However, existing methods mainly rely on coarse prompt-level differentiation without parameter adaptation for diverse subtasks, resulting in insufficient inter-agent heterogeneity and limited specialized capability that bottleneck performance on tasks with complex requirements. To address this, we introduce a Task-Oriented Multi-Agent System with Mixture of Role-Subtask Experts (MoRSE) that distinguishes agents with (role, subtask)-conditional specialization at both the task structure and parameter levels. To make agents' responsibility explicit at the task structure level, we formulate a task-oriented multi-agent system that decomposes each task into a dependency-aware Directed Acyclic Graph of subtasks and assigns each agent a specific (role, subtask), introducing task-level specialization across collaborating agents. Additionally, to address the diverse role and subtask parameter adaptation demands, we propose a dynamic Mixture of (role, subtask) LoRA Experts module with a prototype-based semantic router for subtasks, augmenting agents with parameter-level specialization on a shared LLM substrate cost-effectively. Then, to co-optimize experts and router stably under sparse task rewards, we further propose a hierarchical group-relative policy optimization with two-layer credit assignment that isolates expert updates from the cross-route variance introduced by routing decisions, disentangling expert quality from routing quality. Experiments on code-generation benchmarks across three backbones demonstrate the effectiveness of our approach, with improvements in both whole-task and step-wise performance, and the gains from trained specialization generalize across held-out task categories and domains.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.09251v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.