오픈소스 LLM 기반 멀티에이전트 시스템의 이슈, 원인 및 해결 방안에 대한 이해
Understanding Issues, Causes and Solutions in Open-Source LLM-based Multi-Agent Systems
대규모 언어 모델(LLM) 기반 멀티에이전트 시스템(MAS)의 발전과 함께, 점점 더 많은 오픈소스 프로젝트들이 핵심 기능의 기반으로 멀티에이전트 아키텍처를 채택하고 있습니다. MAS에 대한 연구와 실무가 상당한 주목을 받고 있음에도 불구하고, 오픈소스 LLM 기반 MAS 실무자들이 겪는 어려움과 이러한 어려움의 원인 및 잠재적 해결 방안을 탐색한 연구는 제한적이었습니다. 이러한 공백을 해결하기 위해, 우리는 실무자들이 오픈소스 LLM 기반 MAS를 개발하고 활용할 때 마주치는 이슈, 이러한 이슈의 가능한 원인, 그리고 잠재적 해결 방안을 이해하기 위한 실증 연구를 수행했습니다. 우리는 21개의 오픈소스 LLM 기반 MAS에서 22,848개의 해결된(closed) 이슈를 수집하고, 자동화 및 수동 방식을 결합한 필터링 접근법을 적용하여 데이터셋을 LLM 기반 MAS와 관련된 944개 이슈로 축소했습니다. 그런 다음 이러한 이슈들을 분석하여 실무자들이 자주 겪는 이슈, 근본적인 원인 및 잠재적 해결 방안을 파악했습니다. 연구 결과에 따르면 (1) 조율 및 실행 이슈(Orchestration & Execution Issue)가 실무자들이 직면하는 가장 흔한 문제이며, (2) 워크플로우 문제(Workflow Problem), 도구 통합 문제(Tool Integration Problem), 메모리 문제(Memory Problem)가 이슈의 가장 빈번한 원인으로 확인되었고, (3) 워크플로우 최적화(Optimize Workflow)가 이슈에 대한 주된 해결 방안으로 나타났습니다. 연구 결과를 바탕으로, 우리는 LLM 기반 MAS의 오케스트레이션, 도구 통합 및 메모리 메커니즘 개선을 목표로 하는 실무자와 연구자를 위한 실증적 기반의 시사점을 도출했습니다.