한국어 초록
다중 에이전트(Multi-agent) AI 과학자는 다양한 작업에 걸쳐 향상된 성능을 보여주었습니다. 그러나 일반적인 접근 방식은 주로 고정된 워크플로에 의존하는 설계 시점(design-time)의 에이전트 오케스트레이션입니다. 이와 대조적으로 인간 과학자는 런타임(runtime)에 분업을 조율하고 조정합니다. 따라서 우리는 다음과 같은 질문을 던집니다. AI 과학자 역시 런타임에 협력할 수 있을까? 이를 위해 우리는 실행 중에 기존 AI 과학자 호스트에서 에이전트를 선택하고, 범위가 지정된 작업 계약을 할당하며, 산출물 기반 검증(artifact-grounded verification)을 제공하는 런타임 에이전트 협력(RAC)을 도입합니다. 검증은 전환을 차단하거나 산출물을 폐기하지 않고 후속 에이전트에게 정보를 전달합니다. 우리는 호스트별로 조정된 예산 내에서 호스트 모델, 도구 및 권한을 유지하며 ResearchClawBench에서 Agent Laboratory, EvoScientist, ARK를 대상으로 단일 시드 탐색적 평가를 수행합니다. 4가지 누적 조건은 기본 실행, 런타임 통신, 런타임 선택, 그리고 계약 및 검증의 결합 추가를 분리합니다. 런타임 선택은 각 호스트에 대해 가장 높은 관찰 평균 점수를 산출합니다. 계약 및 검증을 추가하면 이러한 평균이 감소하며, 기본 실행 대비 호스트에 따라 결과가 달라집니다. 이러한 결과는 런타임 협력의 동기를 부여하는 동시에 제한된 예산 하에서 추가적인 협력 메커니즘의 한계를 드러냅니다. 코드는 https://github.com/systemind-team/Runtime-AI-Scientist 에서 확인할 수 있습니다.
원문 초록
Multi-agent AI scientists have shown improving performance across a diverse range of tasks. Yet a common approach is design-time agentic orchestration, which typically relies on fixed workflows. In contrast, human scientists coordinate and adjust their division of labor at runtime. We therefore ask: can AI scientists also coordinate at runtime? To this end, we introduce Runtime Agent Coordination (RAC), which selects agents from existing AI-scientist hosts during execution, assigns scoped work contracts, and provides artifact-grounded verification. Verification informs subsequent agents without blocking transitions or discarding artifacts. We conduct a single-seed exploratory evaluation across Agent Laboratory, EvoScientist, and ARK on ResearchClawBench, preserving host models, tools, and permissions under host-calibrated budgets. Four cumulative conditions separate native execution, runtime communication, runtime selection, and the combined addition of contracts and verification. Runtime selection yields the highest observed mean score for each host; adding contracts and verification reduces these means, with host-dependent outcomes relative to native execution. These results motivate runtime coordination while exposing the limits of additional coordination mechanisms under constrained budgets. Code is available at https://github.com/systemind-team/Runtime-AI-Scientist.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Open Source Planning & Control System with Language Agents for Autonomous Scientific Discovery
STRUCTSENSE: A Task-Agnostic Agentic Framework for Structured Information Extraction with Human-In-The-Loop Evaluation and Benchmarking
From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking
LMR-BENCH: Evaluating LLM Agent's Ability on Reproducing Language Modeling Research
ClimateChat: Designing Data and Methods for Instruction Tuning LLMs to Answer Climate Change Queries
HSG-12M: A Large-Scale Spatial Multigraph Dataset
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
35 pages (9 pages main text), 4 figures, 10 tables. Code: https://github.com/systemind-team/Runtime-AI-Scientist