흐름이 아닌 결함에 대가를 치르다: 레이블 없는 흐름 내 멀티 에이전트 워크플로우 최적화
Pay for the Fault, Not the Flow: Label-Free In-Flow Multi-Agent Workflow Optimization
대규모 언어 모델(LLM)은 복잡한 작업을 분해하고 풀에서 전문 에이전트(agent)를 할당하는 멀티 에이전트 워크플로우를 점점 더 많이 구축하고 있습니다. 그러나 이러한 워크플로우를 잘 구축하는 것은 여전히 어렵습니다. 작업을 얼마나 세밀하게 나눌지, 각 하위 작업을 어떤 에이전트에 맡길지, 언제 새로운 전문가를 생성할지는 모두 워크플로우 생성자가 사전에 결정해야 하는 중요한 사항입니다. 따라서 워크플로우가 실행되기 전까지는 각 하위 작업의 성공 여부를 알 수 없습니다. 게다가 워크플로우를 개선하는 데는 많은 비용이 듭니다. 결함을 찾아내려면 대개 기준 정답, 채점된 결과 또는 훈련된 평가자가 필요하며, 재실행, 재탐색 또는 재학습을 통해 워크플로우 전체에 수정이 적용됩니다. 본 연구에서는 하위 작업이 요구하는 바를 에이전트의 역량이 얼마나 잘 충족하는지와 해당 에이전트를 실행하는 데 드는 비용을 함께 고려하는 단일 레이블 없는(label-free) 비용으로 모든 결정을 평가하는 InFlowOp을 제안합니다. 실행 전에 InFlowOp은 고정된 템플릿 대신 이 비용을 기반으로 작업 분해의 세분성과 에이전트 할당을 양방향으로 결정합니다. 실행 중에는 워크플로우 구축과 실행 모두에 사용되는 동일한 비용을 통해 가장 저렴한 조치로 결함을 수정합니다. 워크플로우 수준의 평가 과제에 대응하여, 단일 에이전트의 능력을 넘어서는 멀티 에이전트 조율이 필요한 작업으로 구성된 벤치마크 Braid를 소개합니다. 다양한 도메인과 백본에 걸쳐 InFlowOp은 단일 에이전트 베이스라인 대비 최대 $+11.97\%$ 뛰어난 성능을 보이며, 흐름 내(in-flow) 최적화를 통해 $+9.64\%$를 달성합니다. 프로젝트 페이지: https://xhguo7.github.io/InFlowOp/.