복잡한 위상 제어가 필요한가? 개별 피어 무작위 라우팅을 통한 희소 다중 에이전트 토론의 비용 효율성 향상
Do We Need Complex Topology Control? Distinct-Peer Random Routing Improves Cost-Efficiency in Sparse Multi-Agent Debate
다중 에이전트(agent) 토론(Multi-agent debate, MAD)은 반복적인 피어 간 상호작용을 통해 대규모 언어 모델(LLM)의 추론(inference) 정확도를 향상시키는 유망한 패러다임으로 부상했습니다. 통신 위상(communication topology)은 이 과정에서 핵심적인 역할을 하며, 정확도나 추론 신뢰성을 높이기 위해 에이전트 상호작용을 학습, 적응 또는 동적으로 재구성하는 점점 더 정교한 메커니즘 개발로 이어졌습니다. 한편, 이전 연구들은 훨씬 단순한 희소(sparse) 통신만으로도 상당히 낮은 비용에 경쟁력 있는 성능을 이미 달성할 수 있음을 시사합니다. 본 연구에서는 희소 MAD를 면밀히 살펴보고, 집합 통신 추론 능력을 개선하는 데 복잡한 위상 제어가 실제로 필요한지 질문을 던집니다. 그 결과, 각 라운드마다 각 에이전트가 새롭게 샘플링된 서로 다른 두 피어와 토론하도록 하는 단순한 비복원 무작위 라우팅 정책이 놀라울 정도로 강력한 기준선(baseline)을 제공하며, 희소 MAD의 정확도-비용 간 절충(trade-off)을 일관되게 개선한다는 점을 발견했습니다. 이러한 관찰을 바탕으로 심의 중단(deliberation stopping) 기법을 추가로 연구하여, 경량화된 중단 방식이 경쟁력 있는 정확도를 유지하면서도 추론 비용을 대폭 절감할 수 있음을 보입니다. 본 결과는 학습 기반 위상 적응과 같은 정교한 위상 제어 기법이 그에 따르는 추가적인 복잡성을 정당화하기 전에, 단순하지만 강력한 라우팅 및 중단 기준선과 비교 평가되어야 함을 시사합니다.