EnvAgent: 클라우드에서 과학 환경을 구축하기 위한 멀티 에이전트 접근법
EnvAgent: Multi-Agent Approach to Building Science Environments in the Clouds
한국어 초록
AI 에이전트는 과학 컴퓨팅과 소프트웨어 워크플로를 변화시키고 있으나, 코드를 생성하고 실행하려면 올바르게 구성된 실행 환경이 필요하다. 저장소가 운영체제, 툴체인, 의존성, 빌드 절차에 대해 이질적이고 불완전한 요구사항을 담고 있기 때문에 환경 구축의 자동화는 여전히 어렵다. 따라서 기존 워크플로는 개발자가 관리하는 Dockerfile과 설정 스크립트에 의존하며, 이로 인해 준비 작업이 노동 집약적이고 확장하기 어려우며 평가에 편향을 일으킬 수 있다. 우리는 저장소 수준의 Docker 환경을 합성, 빌드, 검증하는 에이전트 프레임워크 ENVAGENT를 제시한다. ENVAGENT는 Docker 실행과 상태 관리를 위한 결정적 유틸리티를, 저장소 분석, 계획 수립, Dockerfile 합성, 반복적인 실패 진단 및 수리를 위한 협조하는 에이전트들과 결합한다. 또한 Chameleon Trovi와 Multi-SWE-bench에서 가져온, 일곱 가지 언어에 걸친 54개의 과학 산출물 및 오픈 소스 저장소로 구성된 벤치마크 ENVBENCH를 소개한다. 각 저장소에 대해 필요한 구조, 구성, 기능에 대한 선언적 루브릭을 구축하고, 공용 평가기가 생성된 환경 전반에 걸쳐 가중치가 부여된 2,108개의 검사를 적용한다. 네 가지 대응되는 언어 모델 설정에서 ENVAGENT는 평균적으로 54개 중 43.5개의 실행 가능한 환경을 구축하였으며, 이는 Codex와 Claude Code의 23.5개와 비교된다. 실행 가능성과 루브릭 충족도를 합친 종합 점수는 62.02로, 24.19와 비교된다. 이러한 결과는 환경에 특화된 에이전트 오케스트레이션이 자동화된 환경 구축을 크게 개선함을 보여준다.
원문 초록
AI agents are transforming scientific computing and software workflows, but generating and executing code requires a correctly configured execution environment. Automating environment construction remains difficult because repositories encode heterogeneous, often incomplete requirements for operating systems, toolchains, dependencies, and build procedures. Existing workflows thus rely on developer-maintained Dockerfiles and setup scripts, making preparation labor-intensive, hard to scale, and potentially biasing evaluations. We present ENVAGENT, an agentic framework that synthesizes, builds, and verifies repository-level Docker environments. ENVAGENT combines deterministic utilities for Docker execution and state management with coordinated agents for repository analysis, planning, Dockerfile synthesis, and iterative failure diagnosis and repair. We also introduce ENVBENCH, a benchmark of 54 scientific artifacts and open-source repositories spanning seven languages from Chameleon Trovi and Multi-SWE-bench. For each repository, we curate a declarative rubric of required structure, configuration, and functionality, and a shared evaluator applies 2,108 weighted checks across generated environments. Across four matched language-model settings, ENVAGENT constructs 43.5 executable environments out of 54 on average, versus 23.5 for Codex and Claude Code, and scores 62.02 versus 24.19 on a composite of executability and rubric satisfaction. These results show that environment-specific agent orchestration substantially improves automated environment construction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23258v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.