대규모 언어 모델(LLM) 에이전트의 최근 발전은 자율 연구에 대한 기대를 높였습니다. 그러나 AI가 어려운 장기 과제(long-horizon tasks), 특히 AI 연구 자체를 발전시키는 과제를 완수할 수 있는지는 여전히 거의 탐구되지 않았습니다. 본 연구에서는 연구-실험-분석-업데이트의 폐루프(closed-loop) 과정을 통해 신경망 구조 연구를 자율적으로 수행하는 AI 주도 AI 연구 시스템인 ASI-Arch를 제시합니다. 선형 어텐션(linear attention)에 적용된 ASI-Arch는 1,773회의 반복 실험을 수행하여 105개의 최고 수준(state-of-the-art) 구조를 발견했습니다. 이 중 가장 뛰어난 구조는 Mamba2가 달성한 성능 향상의 거의 세 배에 달하는 폭으로 DeltaNet 대비 개선을 이루어냈습니다. 최종적인 성능 향상 외에도, 우리는 이처럼 까다로운 연구 환경에서 프레임워크 각 부분이 기여한 바를 분석하여 복잡한 AI 연구 과제에서 자율적 진전을 가능하게 하는 요인이 무엇인지 조명합니다.
엔드투엔드(end-to-end) 연구 에이전트는 이제 완전한 과학 논문을 작성할 수 있지만, 원고의 주장과 실제 수행된 실험 간에 괴리가 발생하는 경우가 많습니다. 이러한 간극은 구조적 문제입니다. 즉, 장기적인 파이프라인 전반에서 연구 상태, 실패 이력, 주장-증거 간의 정렬이 영구적이고 검증 가능한 상태로 유지되지 않기 때문입니다. 본 논문에서는 상태 유지 및 증거 추적이 가능한 자율 연구를 위한 아키텍처인 YouRA(Your Research Agent)를 제시합니다. YouRA는 세 가지 구성 요소를 통합하여 연구 전 과정에 걸쳐 연구 상태, 실행 증거, 실패 이력을 보존합니다. 첫째, 가설, 게이트, 증거 포인터를 추적하는 검증 상태 아키텍처(VSA, Verification State Architecture), 둘째, 제어와 실행을 분리하면서 상태 및 성찰 기록을 수명 주기, 복구, 토론/검토 제어로 변환하는 독립 컨트롤러(Independent Controller), 셋째, 실패를 구조화된 교훈으로 기록하고 제한된 복구, 재설계 또는 재설정을 통해 복구 경로를 지정하는 상태 유지 성찰(Stateful Reflection)입니다. MLR-Bench의 사전 정의된 10개 작업 엔드투엔드 하위 집합에서 YouRA는 일치하는 세 가지 백본 모두에서 스칼라 Overall 지표 기준으로 MLR-Agent와 AI Scientist V2 모두를 능가하는 성능을 보였습니다. MLR-Bench의 환각 분류 체계를 사용한 자동화된 진단에서는 네 가지 사실 기반 실패 유형에 대한 교집합/합집합 개수를 보고하며, 데이터 출처 진단 결과 실제 데이터에 기반한 출력이 더 많음을 확인했습니다. 네 가지 구성 요소(VSA, 독립 컨트롤러, MCP 도구 접근, 성찰 기반 복구)에 대한 절제 연구(ablation study)는 각 요소의 독립적인 기여도를 입증합니다. 핵심 상태 구성 요소 중 하나라도 제거하면 YouRA의 성능은 전체 시스템보다 저하됩니다. 코드: https://github.com/PrayPrey/Your-Research-Agent.
Autonomous AI Research promises to accelerate the scientific progress of machine learning. To realise this goal, current Large Language Model (LLM)-based agents need to go beyond just writing code, to mastering the exploration of simultaneously performant, diverse and novel ideas. To this end, we introduce Heuresis, a framework that abstracts the research pipeline into a set of general and composable primitives, enabling open-ended scientific exploration in machine learning research. We implement six search strategies: a greedy baseline, two archive-based (MAP-Elites, Go-Explore), one evolutionary (Islands), and two divergent (Curiosity, Omni), and evaluate them across three axes (Quality, Diversity, and Novelty) on three domains (LLM Pretraining, On-Policy RL, and Model Unlearning), totalling 3,222 scored runs. We find that completely novel ideas are rare. No idea across our scored runs is rated as "Original", and only a few achieve only "Minor Similarity" to prior work. Moreover, novel ideas never approach the highest-performing known-recipe scores. Across all six strategies and three domains, only one such idea lands in the top-10 by quality. We also observed agents resorting to a variety of reward-hacking techniques during execution (40 confirmed fabrications across 1,628 scored runs), and detecting them was necessary to keep the search faithful to the task. Our results show that while current search and Quality-Diversity strategies enable us to steer where the generated ideas land on the quality, diversity, and novelty axes, they do not expand the quality-novelty frontier. Bridging this gap is the open challenge towards the ultimate goal of perpetual, autonomous scientific progress. Code is available at github.com/a-antoniades/Heuresis.