arXiv:2609.25047v1 cs.CL

AIBuildAI-2.5: LLM 유도 트리 탐색을 통한 효율적인 자율 AI 모델 개발

AIBuildAI-2.5: Efficient Autonomous AI Model Development Through LLM-Guided Tree Search

Peijia Qin, Ruiyi Zhang, Qi Cao, Han Guo, Li Zhang, Pengtao Xie

제출 2026-09-23

한국어 초록

인공지능(AI) 모델을 자동으로 구축하는 자율 에이전트(agent)는 과학 및 공학 전반에서 AI에 대한 접근성을 넓힐 수 있습니다. 이러한 계열의 대표적인 에이전트들은 모델 구축을 코드 탐색 문제로 정의하고 이를 트리 탐색으로 해결합니다. 이 방식에서 각 노드(node)는 후보 프로그램이며 부모로부터 자식 프로그램을 생성하면서 트리가 확장되고, 이제 이러한 에이전트들은 현실적인 벤치마크(benchmark)에서 숙련된 AI 엔지니어의 능력에 근접하고 있습니다. 그러나 이러한 에이전트들은 아직 완전히 해결되지 않은 세 가지 효율성 측면의 약점을 지니고 있습니다. 첫째, 현실적인 예산 내에서는 적은 수의 후보만 실행할 수 있으므로, 몬테카를로 방식의 트리 탐색과 같이 실행된 보상으로 노드의 순위를 매기는 탐색 규칙은 소수의 노이즈가 있는 점수에 의존하게 되어 탐색할 다음 노드를 덜 효과적으로 선택하게 됩니다. 둘째, 학습(training) 작업을 스케줄링하는 데 자원 인식(resource-aware) 전략이 사용되지 않아 하드웨어 활용도와 학습 효율성이 떨어질 수 있습니다. 셋째, 모든 에이전트 호출이 단일 고성능 모델에 의해 처리되어 추론(inference) 비용이 증가합니다. 본 연구에서는 대규모 언어 모델(LLM) 에이전트로 트리 탐색을 수행하고 앞서 언급한 세 가지 문제를 각각 해결하는 에이전틱 시스템인 AIBuildAI-2.5를 소개합니다. AIBuildAI-2.5는 새로운 LLM 유도 트리 탐색을 제안하며, 여기서 평가자(judge)는 예상 개선도, 그라운딩(grounding), 실현 가능성을 기준으로 각 후보를 평가하고, 선택기(selector)는 이러한 점수와 탐색 상태를 바탕으로 후보 풀의 순위를 결정합니다. 또한 AIBuildAI-2.5는 현재 하드웨어 자원 상태를 고려하여 학습 작업을 실행하는 스케줄러와, 덜 까다로운 작업에는 더 저렴한 LLM을 할당하면서 가장 까다로운 하위 작업에는 가장 유능한 LLM을 배치하는 라우터로 구성되어 있습니다. AIBuildAI-2.5는 MLE-Bench에서 73.3%의 메달 획득률로 1위를 기록했으며, AIRS-Bench의 6개 자율 AI 연구 과제에서 강력한 기준선(baseline)을 능가했습니다.

원문 초록

Autonomous agents that automatically build artificial intelligence (AI) models could broaden access to AI across science and engineering. A popular line of such agents frames model building as a code search problem and solves it by tree search, in which each node is a candidate program and the tree grows by generating a child program from a parent, and these agents now approach the capability of experienced AI engineers on realistic benchmarks. However, these agents have three weaknesses in efficiency that have not been fully addressed. First, only a small number of candidates can be executed within a realistic budget, so search rules that rank nodes by executed rewards, such as Monte Carlo-style tree search, rely on few and noisy scores and select the next node to explore less effectively. Second, no resource-aware strategy is used to schedule training jobs, which can lower hardware utilization and training efficiency. Third, every agent call is served by a single powerful model, which inflates inference cost. Here we introduce AIBuildAI-2.5, an agentic system that carries out the tree search with LLM agents and addresses each of the three issues. AIBuildAI-2.5 proposes a novel LLM-guided tree search, in which a judge scores each candidate on its expected improvement, grounding, and feasibility, and a selector ranks the pool of candidates from these scores and the state of the search. In addition, AIBuildAI-2.5 comprises a scheduler that launches training jobs with the current hardware resource status taken into account and a router that assigns lower-cost LLMs to less demanding tasks while reserving the most capable LLM for the most challenging sub-tasks in the AI model building workflow. AIBuildAI-2.5 ranks first on MLE-Bench with a medal rate of 73.3%, and outperforms a strong baseline on six autonomous AI research tasks from AIRS-Bench.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.25047v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15708v1cs.AI공통 태그 Code Generation, tree search

SpecForge: 동작 명세를 통한 코딩 에이전트의 재귀적 자기 개선

SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications

동결된 언어 모델 기반의 코딩 에이전트(agent)는 모델(model) 가중치를 업데이트하지 않고도 자신이 의존하는 외부 컨텍스트를 개선함으로써 성능을 향상할 수 있습니다. 본 연구에서는 프로그램 엔티티의 동작을 기술하고 에이전트가 올바른 코드를 생성하도록 안내하는 자연어 코드 문서인 동작 명세(behavioral specification)를 통한 재귀적 자기 개선을 탐구합니다. 우리는 에이전트가 현재 명세로부터 코드를 생성하고, 실행 검증된 테스트로 이를 평가(evaluation)하며, 관찰된 실패를 바탕으로 명세를 개선하는 자기 개선 루프를 정식화합니다. 이렇게 개선된 명세는 이후의 코드 생성을 유도하여 에이전트의 코드베이스 이해도를 점진적으로 향상시킵니다. 그러나 프로그램 엔티티들은 상호 의존적이기 때문에 재귀적 개선은 까다롭습니다. 한 엔티티의 명세를 개선하는 과정에서 다른 엔티티의 정확도가 의도치 않게 저하될 수 있으며, 우리는 이를 출력 결합(output coupling) 현상이라고 부릅니다. 이는 국소적인 개선이 다른 곳에서 회귀를 유발하여 일관된 발전을 저해하는 두더지 잡기 효과를 야기합니다. 우리는 세 가지 메커니즘을 통해 이 문제를 해결하는 다중 프론티어 트리 탐색 프레임워크인 SpecForge를 소개합니다: (i) 파레토(Pareto) 기반 상태 선택은 상호보완적인 명세 상태를 보존하고 조기 확정을 방지하며, (ii) 의존성 제약 엔티티 선택은 피호출자 우선 정제를 우선시하고, (iii) 오류 다양화 확장은 서로 다른 테스트 실패 부분집합을 활용해 다양한 개선 방안을 탐색합니다. DevEval+에서 SpecForge는 5개 백본 모델에 걸쳐 최고 성능을 달성했으며, 여기에는 Claude-4.5-Sonnet을 통한 94.9% 해결률과 가장 강력한 기준선(baseline) 대비 평균 5.7%포인트 향상이 포함됩니다. 또한 개선된 명세는 에이전트가 루프 외부의 작업을 수행하는 능력도 향상시킵니다. 즉, 교차 언어 번역 및 새로운 기능(feature) 구현으로 전이되어 벤치마크(benchmark)에서 제공된 요구사항 문서를 능가하는 성능을 보였습니다.

arXiv:2607.21482v2cs.AI공통 태그 Code Generation, ai agents

클라우드 없는 에이전트형 코딩: 종단 데이터 준비 작업에서 오픈 가중치 대규모 언어 모델 평가

Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks

대규모 언어 모델(LLM)과 에이전트는 이제 코드 개발에서 널리 사용되는 도구이며, 데이터는 일반적으로 서드파티 클라우드 기반 모델로 전송된다. 개인 데이터를 사용하는 연구에서의 채택은 외부 서비스로의 데이터 전송을 일반적으로 금지하는 거버넌스 요구사항에 의해 제약받는다. 로컬에 배포 가능한 오픈 가중치 모델은 민감한 데이터가 로컬 환경을 벗어나지 않기 때문에 대안을 제공한다. 우리는 종단 인구 연구에서 가장 지속적인 병목 현상 중 하나인 데이터 준비에 대해, 오픈 가중치 LLM으로 구동되는 AI 에이전트의 효과를 평가하기 위한 오픈소스 프레임워크를 제안한다. 이 프레임워크는 다음으로 구성된다: 큐레이션된 그라운드 트루스(ground-truth) 데이터셋(영국 코호트 연구의 6회 조사(sweep) 데이터를 준비하는 클리닝 스크립트), 범주 조화(category harmonization) 및 다중 파형 병합(multi-wave merging)과 같은 작업을 포함하는 작업 정의, 그리고 LLM이 생성한 R 코드와 출력 데이터를 평가하는 자동화 루틴. 우리는 (소비자급) 배포 스펙트럼 전반에 걸쳐 LLM을 벤치마킹하여 20개의 데이터 준비 작업(102개 변수 생성)에서의 효과를 평가한다. 현재 최첨단 31-35B 매개변수 모델은 우리 벤치마크를 거의 포화시켰다('평균 작업 완료율' 최대 87.9%). 소비자급 하드웨어에서 실행되는 오픈 가중치 LLM의 성능은 거버넌스 제약이 있는 연구 환경에서 AI 지원 데이터 준비로 향하는 실행 가능한 경로의 가능성을 보여준다. 우리 프레임워크는 https://github.com/UCL-ARC/RRBench 에서 공개적으로 이용할 수 있다.

arXiv:2607.20709v1cs.AI공통 태그 Code Generation, ai agents

NVIDIA-labs OO Agents: 네이티브 Python 객체지향 에이전트

NVIDIA-labs OO Agents: Native Python Object-Oriented Agents

기존 에이전트 개발은 프롬프트 템플릿, 도구 스키마, 콜백 코드, 워크플로 그래프에 걸쳐 분산되어 있다. 우리는 신뢰할 수 있는 AI 에이전트를 구축하기 위한 모델 불문 Python 프레임워크인 NVIDIA Object-Oriented Agents(NOOA)를 제안한다. NOOA는 더 단순한 접근을 취한다: 에이전트는 Python 객체이다. 메서드는 모델이 수행할 수 있는 행동이고, 필드는 상태이며, docstring은 프롬프트이고, 타입 어노테이션은 계약이다. 코드 본문이 "..."로 구성된 메서드는 LLM 구동 에이전트 루프에 의해 런타임에 완성되며, 일반 본문을 가진 메서드는 표준적인 결정론적 Python으로 유지된다. 이는 개발자와 에이전트에게 동일한 인터페이스를 제공하므로, 에이전트 동작을 다른 소프트웨어와 마찬가지로 테스트, 추적, 리팩터링, 개선할 수 있다. 본 논문은 세 가지 기여를 한다. (1) Python 객체로서의 에이전트 프로그래밍 모델과 그 설계 원칙을 제시한다. Python에 기존 추상화가 있는 곳에서는 이를 직접 채택한다. 에이전트 특화 기능—컨텍스트, 이벤트, 상태 렌더링, 장기 기억, 검증된 LLM 루프—는 단순한 Pythonic API를 통해 노출되므로, 개발자와 에이전트 모두 하나의 익숙한 프로그래밍 모델을 공유한다. (2) 우리가 아는 한 NOOA가 단일 표면에서 처음으로 결합한 여섯 가지 모델 대면 아이디어를 식별한다: 타입이 지정된 입출력, 활 객체에 대한 참조 전달(pass-by-reference), 코드를 행동으로(code as action), 프로그래밍 가능한 루프 엔지니어링, 명시적 객체 상태, 컨텍스트와 이벤트를 위한 모델 호출 가능 하네스 API. 커뮤니티가 이미 여러 아이디어—종종 실험적이거나 부분적인 기능으로—수렴하고 있음을 발견하고, 추가 채택을 장려하기 위해 비교를 제시한다. (3) SWE-bench Verified, Terminal-Bench 2.0, ARC-AGI-3와 같은 에이전틱 및 추론 벤치마크와 목표 지향 역량 테스트 모두에서 현재 모델이 이 인터페이스를 효과적으로 사용함을 보여준다.

arXiv:2607.21495v1cs.AI공통 태그 Scheduling, ai agents

산업 분야 AI 에이전트 생성 민주화를 위한 지속적 보증

Toward Continuous Assurance for the Democratization of AI Agent Creation in Industry

조직 내에서 비엔지니어 사용자들이 로우코드, 노코드, 대화형 개발 환경을 통해 AI 에이전트를 점점 더 많이 만들고 있다. 이러한 민주화는 빠른 현지 혁신을 가능하게 하지만, 신뢰성 격차(reliability gap)도 만든다. 사용자에게 단순한 생산성 도구처럼 보이는 에이전트가 변화하는 모델, 도구, 검색 소스, 권한, 프롬프트, 스케줄, 외부 서비스에 의존할 수 있기 때문이다. 이러한 의존성은 배포 후 오랜 시간이 지난 뒤에도, 사용자가 에이전트를 직접 수정하지 않더라도 조용한 성능 저하(silent degradation)를 일으킬 수 있다. 본 논문은 민주화된 AI 에이전트 생성이 야기하는 신뢰성 과제를 규명하고, 시민 개발자가 만든 조직 내 에이전트를 위한 경량 지속적 보증(continuous assurance) 프레임워크를 제안한다. 이 프레임워크는 의존성 매핑, 준비 상태 계약(readiness contracts), 예약 점검, 진단, 생명주기 거버넌스를 결합하여 에이전트가 예상 조건 하에서 운영상 준비 상태를 유지하는지 평가한다. 또한 제안된 분류 체계가 실용적인 점검과 실행 가능한 개선(remediation) 지침으로 어떻게 구체화될 수 있는지를 보여주는 초기 프로토타입 감사 도구(auditor)와 시나리오 기반 평가를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.