DHCG: LLM 기반 멀티 에이전트 추론을 위한 계층적 협업 그래프의 동적 구성
DHCG: Dynamic Construction of Hierarchical Collaboration Graphs for LLM-Based Multi-Agent Reasoning
한국어 초록
LLM 기반 멀티 에이전트 시스템(MAS)은 다양한 도메인에 걸친 복잡한 문제 해결에서 강력한 능력을 보여주었다. 최근에는 에이전트 시스템의 동적 오케스트레이션이 중요한 연구 방향으로 떠오르고 있다. 그러나 기존 방법들은 제한된 구성, 어긋난 의존성, 경직된 규모라는 한계를 지니고 있어, 실행 중 추론 요구사항에 적응하는 능력이 제약된다. 이러한 한계를 해결하기 위해, 우리는 MAS 설계를 부분적으로 관측 가능한 마르코프 결정 과정(partially observable Markov decision process)으로 재구성하며, 이 과정에서 MAS의 구성과 규모가 모두 동적으로 결정된다. 우리는 Planner, Worker, Generator라는 세 모듈을 조율하여 질의(query)와 진화하는 실행 피드백을 바탕으로 동적 계층적 협업 그래프를 처음부터 점진적으로 구축하는 새로운 프레임워크인 DHCG를 제안한다. 각 단계에서 피드백의 안내를 받아, Planner는 현재 추론 요구에 맞춘 서로 구별되면서도 상호 보완적인 역할 집합을 생성하고, 관련 정보를 각 역할에 선택적으로 라우팅한다. 또한 Planner는 계층적 협업 그래프를 조기에 확정하거나, 추가 추론이 필요할 때 점진적으로 확장할 수 있다. 우리는 나아가 Planner가 계층적 협업 그래프를 구축할 때 더 효과적인 결정을 내리도록 학습시키기 위한 행동 인지 선호 최적화(action-aware preference optimization)를 도입한다. 우리는 코드 생성, 수학적 추론, 도메인 특화 추론 벤치마크에 걸쳐 DHCG를 체계적으로 평가한다. DHCG는 비교 대상 방법들 중 최고 수준의 평균 성능을 달성하며, 단일 에이전트 기준선(baseline) 대비 13.06점 향상되고, 정적 및 동적 MAS 기준선 모두를 2.77~8.02점 차이로 능가한다. 추가 실험은 서로 다른 Planner 백본과 미학습 Worker 모델에 걸친 일반화 능력을 더욱 입증한다.
원문 초록
LLM-based multi-agent systems (MAS) have demonstrated strong capabilities in solving complex problems across diverse domains. Recently, the dynamic orchestration of agent systems has become an important research direction. However, existing methods suffer from limited composition, misaligned dependencies, and inflexible scale, restricting their ability to adapt to reasoning requirements during execution. To address these limitations, we reframe MAS design as a partially observable Markov decision process, in which both the composition and scale of the MAS are dynamically determined. We propose DHCG, a novel framework that coordinates three modules (Planner, Worker, and Generator) to progressively construct a dynamic hierarchical collaboration graph from scratch based on the query and evolving execution feedback. At each step, guided by feedback, the Planner generates a set of distinct and complementary roles tailored to the current reasoning needs and selectively routes relevant information to each role. It can also finalize the hierarchical collaboration graph early or progressively expand it when additional reasoning is required. We further introduce action-aware preference optimization to train the Planner to make more effective decisions when constructing hierarchical collaboration graphs. We systematically evaluate DHCG across code generation, mathematical reasoning, and domain-specific reasoning benchmarks. DHCG achieves state-of-the-art average performance among the compared methods, improving over the single-agent baseline by 13.06 points and outperforming both static and dynamic MAS baselines by 2.77-8.02 points. Additional experiments further demonstrate its generalization across different Planner backbones and unseen Worker models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 4 figures, 4 tables