arXiv:2503.01935v2 cs.MA 공식 코드 · Papers with Code

MultiAgentBench: LLM 에이전트의 협업과 경쟁 평가

MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents

Kunlun Zhu, Hongyi Du, Zhaochen Hong, Xiaocheng Yang, Shuyi Guo, Zhe Wang, Zhenhailong Wang, Cheng Qian, Xiangru Tang, Heng Ji, Jiaxuan You

제출 2025-03-03

한국어 초록

대규모 언어 모델(LLM)은 자율 에이전트로서 뛰어난 능력을 보였지만, 기존 벤치마크는 단일 에이전트 과업에 초점을 맞추거나 좁은 영역에 국한되어 다중 에이전트 조율과 경쟁의 역학을 포착하지 못한다. 본 논문에서는 다양한 상호작용 시나리오에 걸쳐 LLM 기반 다중 에이전트 시스템을 평가하도록 설계된 포괄적 벤치마크인 MultiAgentBench를 소개한다. 우리의 프레임워크는 과업 완수뿐 아니라 협업과 경쟁의 질도 새로운 마일스톤 기반 핵심 성과 지표로 측정한다. 또한 스타, 체인, 트리, 그래프 토폴로지를 포함한 다양한 조율 프로토콜과 그룹 토론, 인지적 계획과 같은 혁신적인 전략을 평가한다. 특히 gpt-4o-mini가 평균 최고 과업 점수에 도달하고, 연구 시나리오에서 조율 프로토콜 중 그래프 구조가 가장 우수한 성능을 보였으며, 인지적 계획은 마일스톤 달성률을 3% 향상시킨다. 코드와 데이터셋은 https://github.com/MultiagentBench/MARBLE 에서 공개되어 있다.

원문 초록

Large Language Models (LLMs) have shown remarkable capabilities as autonomous agents, yet existing benchmarks either focus on single-agent tasks or are confined to narrow domains, failing to capture the dynamics of multi-agent coordination and competition. In this paper, we introduce MultiAgentBench, a comprehensive benchmark designed to evaluate LLM-based multi-agent systems across diverse, interactive scenarios. Our framework measures not only task completion but also the quality of collaboration and competition using novel, milestone-based key performance indicators. Moreover, we evaluate various coordination protocols (including star, chain, tree, and graph topologies) and innovative strategies such as group discussion and cognitive planning. Notably, gpt-4o-mini reaches the average highest task score, graph structure performs the best among coordination protocols in the research scenario, and cognitive planning improves milestone achievement rates by 3%. Code and datasets are public available at https://github.com/MultiagentBench/MARBLE.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2503.01935v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.