다중 에이전트 협업은 언제 도움이 되는가? 엔트로피 관점
When Does Multi-Agent Collaboration Help? An Entropy Perspective
다중 에이전트 시스템(MAS)은 복잡한 과업을 해결하기 위해 대규모 언어 모델(LLM)을 활용하는 두드러진 패러다임으로 부상했다. 그러나 공개적으로 이용 가능한 LLM 위에 구축된 MAS의 효과를 좌우하는 메커니즘, 특히 그들의 성공 또는 실패에 대한 근본적 이유는 여전히 거의 탐구되지 않았다. 본 논문에서는 \textit{entropy} 관점을 통해 MAS를 재검토하며, 다양한 토폴로지, 여섯 가지 추론 벤치마크, 두 가지 에이전틱 과업에 걸쳐 문제 해결 중 엔트로피 전환을 조사함으로써 에이전트 내부 및 에이전트 간 역학을 모두 고려한다. 토큰-, 에이전트-, 라운드 수준의 엔트로피에 걸친 245개 특성을 분석한 결과, 직관에 반하게 단일 에이전트가 약 43.3\%의 경우에 MAS보다 우수한 성능을 보이며, 엔트로피 역학은 상호작용의 첫 라운드에서 대체로 결정된다는 것을 발견했다. 또한 세 가지 핵심 관찰을 제시한다: 1) \textit{Certainty Preference}: 최대 엔트로피는 MAS의 정확도를 직접적으로 해치고, 안정적인 엔트로피는 직접적으로 MAS 정확도에 이롭다; 2) \textit{Base Entropy}: 문제 해결 중 더 낮은 엔트로피를 갖는 베이스 모델이 MAS 성능을 인과적으로 주도한다; 3) \textit{Task Awareness}: MAS의 엔트로피 역학은 서로 다른 과업에서 각기 다른 역할을 한다. 이러한 통찰을 바탕으로, \textit{Entropy Judger}라는 단순하지만 효과적인 알고리즘을 도입하여 MAS의 pass@$k$ 결과에서 해를 선택함으로써 모든 MAS 구성 및 과업에서 일관된 정확도 향상을 달성한다. 소스 코드는 \href{https://github.com/AgenticFinLab/multiagent-entropy}{this https URL}에서 이용 가능하다.