Large language models are making research scalable. We present \textsc{Agon}, a research orchestrator designed to probe the limits of automated research. \textsc{Agon} is built on six design principles: Prompt Economy, Future-Facing, Minimal Prompts, OmniDisciplinary, Massive Parallelism, and Zero-Code. We deployed \textsc{Agon} across domains using only brief topic descriptions as starting points and no human-written code. These deployments demonstrate scalability but also reveal previously unseen classes of failure that are difficult to address through prompt engineering. We organize these failures into a taxonomy along four dimensions: severity, fixability, visibility, and capability locus. Together, these results show that \textsc{Agon} is pushing research towards a new paradigm: machines scale, humans steer. Our code is publicly available at \href{https://github.com/AutoResearch-Factory/Agon/tree/lite}{this GitHub repository}.
AI 기반 자율 연구(autonomous research, AR) 시스템은 다양한 작업에서 점점 더 효과적이 되고 있다. 그러나 이들의 성능은 여전히 주로 최종 결과의 품질로 평가된다. 본 논문에서는 해 탐색(solution-search) 과정의 효율성이 동등하게 중요하지만 종종 간과되는 성능 차원임을 주장한다. 강력한 AR 시스템은 고품질 결과를 산출할 뿐만 아니라, 가능한 한 적은 예산으로 그 결과에 도달해야 한다. AR이 수학과 코딩처럼 검증 비용이 낮은 영역에서, 해 평가에 값비싼 물리적 실험이 필요할 수 있는 실제 과학 환경으로 확장됨에 따라 탐색 효율성은 점점 더 중요해질 것이다.
이 차원을 포착하기 위해, 우리는 최종 결과 품질과 함께 파레토 프론트(Pareto frontier)의 곡선 아래 면적(area under the curve, AUC)을 사용하여 AR 시스템을 평가하는 방법을 제안한다. 우리는 12개의 시스템 최적화(systems-optimization) 작업에 걸쳐 언덕 오르기(hill climbing), 빔 서치(beam search), 트리 서치(tree search), 진화적 탐색(evolutionary search)을 포함한 여러 계열의 탐색 알고리즘을 비교한다. 어떤 단일 탐색 구조도 일관되게 가장 효율적이지는 않음을 발견한다. 또한 탐색 효율성과 최종 결과 품질은 서로 다른 성능 차원임을 보인다. 궁극적으로 최상의 결과를 달성하는 방법이라도 개선 속도가 느리고, 그 결과에 도달하기 전에 훨씬 더 많은 평가 예산을 소모할 수 있다.
가장 효과적인 탐색 정책은 일반적으로 사전에 알려져 있지 않기 때문에, 우리는 고정된 평가 예산을 여러 탐색 프로세스에 동적으로 할당하기 위해 포트폴리오 밴딧(portfolio bandit)을 사용하는 적응형 절차인 fluid search를 도입한다. 평가된 작업 전반에 걸쳐 fluid search는 가장 높은 전반적인 탐색 효율성을 달성하며, 각 작업에 대해 최적의 탐색 구조가 사전에 주어진 작업별 오라클(per-task oracle)의 성능과 밀접하게 일치한다.
인공지능(AI)은 과학적 발견의 방식을 과제 특화 워크플로에서 개방형 후보 공간에서 실험 및 인간 피드백을 통해 탐험(exploration)을 체계적으로 조직하는 자율 시스템으로 전환시키고 있다. 진화 계산(EC)은 피드백 기반 발견을 위한 계산적 기반을 제공하는데, 집단 기반 탐색이 누적된 증거를 통해 탐험을 유도하면서 다양한 과학적 후보군을 유지할 수 있기 때문이다. 그러나 EC는 주로 사전에 정의된 문제에 대한 후보 정제에 집중하는 반면, 누적적 발견에는 경험의 보존이 요구된다. 이 간극을 해소하기 위해, 본 리뷰는 과학적 발견을 위한 진화적 지능(EI)을 소개한다. EI는 진화 주기에 걸쳐 후보 정제와 경험 보존을 연결함으로써 지속적인 탐험을 유지하는 과학적 AI 시스템을 특징짓는다. 우리는 무엇이 진화하는지, 후보가 어떻게 변화하는지, 후보가 왜 선택되는지, 피드백이 어디에서 발생하는지, 그리고 진화가 언제 일어나는지를 묻는 5차원 분석 프레임워크를 제안한다. 이 프레임워크는 EI가 고립된 탐색 궤적을 누적적 과학적 통찰로 어떻게 변환하는지를 명확히 한다. 또한 구체적인 과학적 개체의 진화에서부터 자동화된 연구 워크플로 조율에 이르기까지 다양한 발견 방식에 걸쳐 이 패러다임을 실증한다. 마지막으로, 평가, 프로세스 추적 가능성, 공유 인프라에 관한 핵심 병목 지점을 식별하고, 과학적 발견에서 EC에서 EI로의 전환을 촉진하기 위한 구체적인 로드맵을 제시한다.
AI 코딩 에이전트의 종단 간 자율 과학 연구 능력을 검증하기 위해 실제 논문과 데이터를 기반으로 한 ResearchClawBench 벤치마크를 제안하며, 다양한 에이전트와 LLM에 대한 평가 결과 현재 시스템은 신뢰할 수 있는 수준의 재발견에는 미치지 못함을 확인했다.
11,083편의 응집물질물리학 arXiv 논문 코퍼스에서 출발해 출판 수준의 원고를 자동 생성하는 대규모 언어 모델(LLM) 파이프라인을 제시하며, 에이전트가 연구 방향 구상, 출판된 참고문헌 재현을 통한 방법론 보정, 새로운 제일원리(first-principles) 계산 수행, 원고 작성을 순차적으로 자율 수행한다. 환각 문제를 해결하기 위해 문헌 앵커에 대한 수치적 대면을 구조적으로 강제하는 보정 체크포인트를 핵심 그라운딩(grounding) 메커니즘으로 도입하였으며, 신선한 컨텍스트 격리·분산 그라운딩·대립적 검토로 구성된 내결함성(fault-tolerant) 설계를 통해 교번자성(altermagnetism) 압자기(piezomagnetism) 분야에서 3가지 실질적인 물리 발견을 담은 원고를 생성하는 데 성공하였다.
자율 연구 에이전트가 실험 실패 시 단일 반성(reflection)에 의존하는 취약점을 해결하기 위해, SAGE는 다중 가설 실패 귀인(Multi-Hypothesis Failure Attribution, MHFA) 메커니즘을 통해 실패 원인을 구조적으로 진단하고 가설·실험 설계·구현 단계 중 적절한 수준으로 복구를 라우팅한다. 12개 주제·5개 도메인 벤치마크에서 지표 포함 출력 비율을 42%에서 92%로 끌어올리고 아티팩트 품질 점수를 5.00에서 6.75/10으로 개선하며 AI-Scientist-v2를 상회하는 성능(52.0 vs. 48.2)을 달성했다.
AI 지원 연구 시스템은 많은 실패 시도를 생성하지만, 이러한 실패는 드물게 지속 가능한 공유 지식 자산으로 축적된다. 우리는 부정적 지식 메모리 층을 제안한다. 큐레이터 에이전트가 각 실패 시도를 공유 저장소의 경계가 있는 유형화된 기록으로 변환하고, 하류 연구 에이전트가 다음 실험을 제안하기 전에 해당 기록을 명시적으로 채택하거나 거부한다. 우리는 ScienceAgentBench에서의 동일 과제 재시도와 두 개의 비선형 수학-물리 PDE(편미분방정식) 문제에 대한 교차 과제 과학 연구라는 두 가지 설정에서 이 층을 평가한다. 부정적 지식 층은 더 적은 토큰을 사용하면서 기본 AutoResearch 베이스라인을 능가한다. 부정적 지식 저장소를 갖춘 에이전트는 PDE 시스템 연구에서 모든 베이스라인이 해결하지 못하는 새로운 과제를 해결한다. 또한 기존 부정적 지식 저장소가 서로 다른 PDE 문제에서 AutoResearch로 전이되어 성능을 향상시킬 수 있음을 보인다. 이러한 결과는 구조화된 부정적 지식이 메모리 압축이나 디버깅 보조 수단을 넘어, 긍정적 발견과 함께 더 넓은 범위의 AI 참여 과학 연구에서 명시적으로 유지되어야 하는 지식 자산이며, 과학적 메모리를 위한 공동 인프라임을 시사한다. 코드는 https://github.com/hch-wang/Negative_Knowledge 에서 이용할 수 있다.
과학적 진보는 탐험(exploration), 실험, 추상화의 반복되는 루프에 의존합니다. 연구자들은 후보 방향을 테스트하고, 증거를 해석하며, 그 결과로 얻은 교훈을 이후 시도로 가져갑니다. 본 연구는 AI 에이전트가 장기적으로 이 루프를 자율적으로 실행할 수 있는 방법을 탐구합니다. 우리는 장기 수명의 코디네이터(coordinator), 단기 수명의 실행자(executor), 그리고 시간에 걸쳐 가설, 아티팩트(artifact), 증거, 증류된 통찰을 연결하는 지속적인 트리인 가설 트리 정제(HTR, Hypothesis Tree Refinement)를 결합한 자율 연구를 위한 일반적인 프레임워크인 Arbor를 소개합니다. 코디네이터는 트리에 대한 전역 연구 전략을 관리하는 반면, 실행자는 격리된 워크트리(worktree)에서 개별 가설을 구현하고 테스트합니다. 결과가 반환됨에 따라 Arbor는 트리를 업데이트하고, 재사용 가능한 교훈을 전파하며, 탐색 프론티어(frontier)를 정제하고, 검증된 개선 사항을 수용합니다. 이 설계는 자율 연구를 국지적 시도의 연속에서 전략, 실행, 증거가 시간을 초월하여 전달되는 누적적 과정으로 전환시킵니다. 우리는 에이전트가 단계 수준의 인간 감독 없이 반복적인 실험을 통해 초기 연구 아티팩트를 개선하는 운영 설정인 자율 최적화(AO, Autonomous Optimization) 환경에서 Arbor를 평가합니다. 모델 학습, 하네스(harness) 엔지니어링, 데이터 합성의 6가지 실제 연구 작업에 걸쳐 Arbor는 모든 6가지 작업에서 최고의 홀드아웃(held-out) 결과를 달성했으며, 동일한 작업 인터페이스 및 리소스 예산 하에서 Codex와 Claude Code의 평균 상대적 홀드아웃 이득보다 2.5배 이상 높은 성과를 보였습니다. MLE-Bench Lite에서 Arbor는 GPT-5.5를 사용하여 86.36%의 Any Medal을 달성하여 비교 대상 중 가장 강력한 결과를 기록했습니다.