systemind.io

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.00980v1cs.MA

AI 과학자는 런타임에 협력할 수 있는가?

Can AI Scientists Coordinate at Runtime?

다중 에이전트(Multi-agent) AI 과학자는 다양한 작업에 걸쳐 향상된 성능을 보여주었습니다. 그러나 일반적인 접근 방식은 주로 고정된 워크플로에 의존하는 설계 시점(design-time)의 에이전트 오케스트레이션입니다. 이와 대조적으로 인간 과학자는 런타임(runtime)에 분업을 조율하고 조정합니다. 따라서 우리는 다음과 같은 질문을 던집니다. AI 과학자 역시 런타임에 협력할 수 있을까? 이를 위해 우리는 실행 중에 기존 AI 과학자 호스트에서 에이전트를 선택하고, 범위가 지정된 작업 계약을 할당하며, 산출물 기반 검증(artifact-grounded verification)을 제공하는 런타임 에이전트 협력(RAC)을 도입합니다. 검증은 전환을 차단하거나 산출물을 폐기하지 않고 후속 에이전트에게 정보를 전달합니다. 우리는 호스트별로 조정된 예산 내에서 호스트 모델, 도구 및 권한을 유지하며 ResearchClawBench에서 Agent Laboratory, EvoScientist, ARK를 대상으로 단일 시드 탐색적 평가를 수행합니다. 4가지 누적 조건은 기본 실행, 런타임 통신, 런타임 선택, 그리고 계약 및 검증의 결합 추가를 분리합니다. 런타임 선택은 각 호스트에 대해 가장 높은 관찰 평균 점수를 산출합니다. 계약 및 검증을 추가하면 이러한 평균이 감소하며, 기본 실행 대비 호스트에 따라 결과가 달라집니다. 이러한 결과는 런타임 협력의 동기를 부여하는 동시에 제한된 예산 하에서 추가적인 협력 메커니즘의 한계를 드러냅니다. 코드는 https://github.com/systemind-team/Runtime-AI-Scientist 에서 확인할 수 있습니다.