다중 에이전트 토론이 연구 논문에 대한 AI 피드백을 개선하는가?
Does Multi-Agent Debate Improve AI Feedback on Research Papers?
아마 그렇지 않을 것이다. 적어도 경제학 분야의 메타분석에서는 그렇다. 사전 등록되고 신원이 가려진 논문 내 실험에서, 44개 메타분석의 저자들은 자신의 논문을 개선하는 데 있어 유용성 기준으로 세 가지 AI 보고서의 순위를 매겼다: 프론티어 모델의 단일 패스, 그리고 우리가 구축하고 승리할 것으로 기대했던 두 가지 다중 에이전트 토론 도구. 모든 보고서는 동일한 길이와 템플릿을 따랐다. 저자들은 단일 패스를 선호했으며, mad-research보다 0.66 순위 점수(95% CI 0.32~1.00), paper-workshop보다 0.57(95% CI 0.16~0.95) 높게 평가했다. 다만 paper-workshop은 토큰을 대략 30배 더 사용했다. 저널 심사 보고서를 기억한 저자들은 대체로 이를 1위로 두었고 마지막으로 두지 않았다. 별도의 실험에서 세 AI 심사자는 거의 항상 실제 저널 심사 보고서를 마지막에 배치했다. 세 AI 보고서 중 Gemini(어떤 보고서도 작성하지 않은 모델 계열의 심사자)는 저자 대신 paper-workshop을 1위로 순위를 매겼을 것이며, 이는 단일 패스 선호를 뒤집는 결과다. 이러한 뒤집힘은 저자를 AI 심사자로 대체하는 것을 경계해야 함을 시사한다. 우리는 완성된 논문에 대한 지각된 유용성을 측정한다. AI가 논문을 심사해야 하는지는 별개의 질문이다.