BusMA: 다중 에이전트 시스템을 위한 버스 통신 기저 구조
BusMA: A Bus Communication Substrate for Multi-Agent Systems
한국어 초록
다중 에이전트(Multi-Agent, MA) 시스템은 계획, 도구 사용, 그리고 다양한 출처의 증거 종합을 요구하는 복잡한 작업을 해결하는 데 효과적입니다. 기존 시스템들은 통신 프로토콜로 주로 계층적 매니저-워커(Hierarchical Manager-Worker, HMW) 또는 라우터 기반 메시지 전달(Router-based Message Passing, RMP) 구조를 채택합니다. 그러나 이러한 설계는 에이전트의 자율성을 제한합니다. 즉, 워커 에이전트가 특정 "동료(peer)"에게 직접 자문을 구할 수 없으며, 메시지가 잘못 라우팅되면 오류가 전파될 수 있습니다. 컴퓨터 시스템의 버스 아키텍처에서 영감을 받아, 본 논문에서는 모든 에이전트가 공유 채널, 즉 버스(Bus)를 통해 다른 에이전트와 통신할 수 있도록 하는 통신 프레임워크인 BusMA를 제안합니다. BusMA는 에이전트 등록, 메시지 라우팅, 공유 메모리 관리 컴포넌트로 구성됩니다. 각자 도구를 갖춘 워커 에이전트는 자체 로컬 메모리를 보유하며, 특정 의도를 담은 공유 메시지를 게시함으로써 추론, 행동(도구 사용), 통신을 수행할 수 있습니다. 본 연구에서는 에이전트 간의 정밀한 통신을 지원하는 네 가지 의도인 토론(discussion), 이의 제기(challenge), 안내(guidance), 설명 요청(request for explanation)을 도입합니다. 체어(Chair) 에이전트는 공유 메모리를 모니터링하여 상호작용을 조율하고 워커 간의 수렴을 촉진합니다. BusMA의 효과를 평가하기 위해, 시각적 추론, 수학적 추론, 지식 검색에 걸친 13개 작업에서 두 개의 프론티어 대규모 언어 모델(LLM)을 사용하여 광범위한 실험을 수행합니다. 실험 결과는 BusMA가 최첨단 HMW 및 RMP 방식을 일관되게 능가함을 보여줍니다.
원문 초록
Multi-Agent (MA) systems are effective at solving complex tasks that demand planning, tool use, and the synthesis of evidence from multiple sources. Existing systems typically adopt Hierarchical Manager-Worker (HMW) or Router-based Message Passing (RMP) structures as their communication protocol. However, these designs restrict agent autonomy: Worker agents cannot directly consult specific "peers", and misrouted messages can propagate errors. Inspired by bus architectures in computer systems, we propose BusMA, a communication framework that allows any agent to address other agents through a shared channel, i.e., the Bus. It consists of agent registration, message routing, and shared memory management components. Worker agents, each equipped with tools, have their own local memory and can reason, act (tool usage), and communicate by posting shared messages with specific intents. We introduce four intents: discussion, challenge, guidance, and request for explanation, which support fine-grained communication among agents. A Chair agent monitors the shared memory to coordinate interactions and facilitate convergence among Workers. To evaluate the effectiveness of BusMA, we conduct extensive experiments with two frontier LLMs across 13 tasks spanning visual reasoning, mathematical reasoning, and knowledge retrieval. The results demonstrate that BusMA consistently outperforms state-of-the-art HMW and RMP methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
Inherit-MAS: 워크플로우 및 실행 상속을 통한 다중 에이전트 시스템의 테스트 시간 진화
Inherit-MAS: Test-Time Evolution of Multi-Agent Systems through Workflow and Execution Inheritance
대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)은 특화된 에이전트들을 조율하여 복잡한 작업을 해결하지만, 효과적인 워크플로우를 사전에 설계하기는 어렵습니다. 테스트 시간 진화(Test-time evolution)는 실행 피드백을 활용하여 워크플로우를 개선하지만, 광범위한 수정은 유용한 구성 요소를 손상시킬 수 있으며, 변경되지 않은 요청을 재실행하면 불필요한 연산이 발생할 수 있습니다. 생물학적 진화에서 상속과 선택의 상호작용에서 영감을 받아, 본 연구에서는 워크플로우 및 실행 수준에서 상속을 명시적으로 도입한 Inherit-MAS를 제안합니다. 먼저 메타 모델이 명시된 역할, 통신 입력, 도구 권한을 갖는 작업자 에이전트들의 워크플로우를 합성하고, 별도로 프롬프트가 제공된 평가자(judge)가 실행된 각 후보의 점수를 매기고 결함을 진단합니다. 일반적인 정제 라운드에서 워크플로우 상속(\emph{workflow inheritance})은 가장 최근에 완료된 후보에서 시작하여, 도움이 되지 않는다고 판단된 제거 가능한 노드를 폐기할 수 있으며, 진단된 결함을 해결하기 위해 검증된 수정을 적용합니다. 새로운 후보가 실행될 때, 실행 상속(\emph{execution inheritance})은 완전히 해결된 요청 및 실행 컨텍스트가 일치하는 경우에만 저장된 적격 결과를 상속하여 불필요한 모델 및 도구 호출을 방지합니다. GPT-4o-mini를 작업자로 사용했을 때, Inherit-MAS는 WorkBench에서 55.4% 완료율을, HotpotQA FullWiki에서 49.7% 결합 F1을 달성하여 EvoAgent, EvoMAS, TacoMAS를 능가했습니다. Qwen3-32B 작업자를 사용했을 때도 두 벤치마크 모두에서 이러한 진화형 MAS 베이스라인들을 능가했습니다. 실행 상속을 비활성화한 동일한 컨트롤러를 재실행한 것과 비교했을 때, 실행 상속은 WorkBench에서 작업자 토큰 사용량을 29.1%, HotpotQA에서 34.6% 줄였으며, 전체 토큰 사용량은 각각 5.3% 및 18.1% 감소시켰습니다.
오픈소스 LLM 기반 멀티에이전트 시스템의 이슈, 원인 및 해결 방안에 대한 이해
Understanding Issues, Causes and Solutions in Open-Source LLM-based Multi-Agent Systems
대규모 언어 모델(LLM) 기반 멀티에이전트 시스템(MAS)의 발전과 함께, 점점 더 많은 오픈소스 프로젝트들이 핵심 기능의 기반으로 멀티에이전트 아키텍처를 채택하고 있습니다. MAS에 대한 연구와 실무가 상당한 주목을 받고 있음에도 불구하고, 오픈소스 LLM 기반 MAS 실무자들이 겪는 어려움과 이러한 어려움의 원인 및 잠재적 해결 방안을 탐색한 연구는 제한적이었습니다. 이러한 공백을 해결하기 위해, 우리는 실무자들이 오픈소스 LLM 기반 MAS를 개발하고 활용할 때 마주치는 이슈, 이러한 이슈의 가능한 원인, 그리고 잠재적 해결 방안을 이해하기 위한 실증 연구를 수행했습니다. 우리는 21개의 오픈소스 LLM 기반 MAS에서 22,848개의 해결된(closed) 이슈를 수집하고, 자동화 및 수동 방식을 결합한 필터링 접근법을 적용하여 데이터셋을 LLM 기반 MAS와 관련된 944개 이슈로 축소했습니다. 그런 다음 이러한 이슈들을 분석하여 실무자들이 자주 겪는 이슈, 근본적인 원인 및 잠재적 해결 방안을 파악했습니다. 연구 결과에 따르면 (1) 조율 및 실행 이슈(Orchestration & Execution Issue)가 실무자들이 직면하는 가장 흔한 문제이며, (2) 워크플로우 문제(Workflow Problem), 도구 통합 문제(Tool Integration Problem), 메모리 문제(Memory Problem)가 이슈의 가장 빈번한 원인으로 확인되었고, (3) 워크플로우 최적화(Optimize Workflow)가 이슈에 대한 주된 해결 방안으로 나타났습니다. 연구 결과를 바탕으로, 우리는 LLM 기반 MAS의 오케스트레이션, 도구 통합 및 메모리 메커니즘 개선을 목표로 하는 실무자와 연구자를 위한 실증적 기반의 시사점을 도출했습니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
인과적 세계 모델은 모듈형 LLM 에이전트에 언제 도움이 되는가
When Do Causal World Models Help Modular LLM Agents
롤아웃 시점 개입: 정책의 한계를 넘어 에이전트 강화학습 잠재력 끌어내기
Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits
강화학습(RL)은 상호작용 환경에서 더 강력한 추론, 계획 및 도구 사용을 가능하게 함으로써 대규모 언어 모델(LLM) 에이전트를 개선하기 위한 핵심 패러다임으로 부상했습니다. 그러나 기존의 에이전트 강화학습 방법은 온-정책(on-policy) 추론 병목 현상으로 인해 근본적인 한계를 지닙니다. 즉, 작업이 모델의 현재 역량 범위를 벗어나면 유효한 궤적이 극도로 희소해져 학습(training)이 붕괴되는 경우가 빈번합니다. 본 연구에서는 정책 고유의 탐험(exploration) 역량을 넘어 성공적인 궤적을 이끌어내도록 설계된 기법인 롤아웃 시점 개입(Rollout-Time Intervention, RTI)을 제안합니다. RTI는 롤아웃 중에 보상 측면의 증거(즉, 평가 루브릭)를 활용하여 오류가 발생한 궤적을 성공적인 궤적으로 변환함으로써, 정책이 자체적으로는 거의 풀지 못하는 작업에 대해 효과적인 학습 신호를 제공합니다. 비록 개입 궤적이 본질적으로 오프-정책(off-policy)에 해당하지만, 과도한 분포 변화(distributional shift)를 보이는 궤적을 걸러내면 정책 최적화(optimization)를 효과적으로 이끌 수 있음을 확인했습니다. 5개 벤치마크에 걸친 광범위한 평가를 통해 RTI가 기존 강화학습 베이스라인을 일관되게 능가하며, 사후학습된 정책이 실질적으로 훨씬 더 강력한 최신 LLM의 성능에 근접하고, 더 중요하게는 기존의 역량 한계를 뛰어넘도록 지원함을 입증했습니다. 코드는 https://github.com/Alibaba-NLP/qqr 에서 이용할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Camera-ready version accepted to AACL 2026. 23 pages