가설 트리 정제를 통한 범용 자율 연구
Toward Generalist Autonomous Research via Hypothesis-Tree Refinement
과학적 진보는 탐험(exploration), 실험, 추상화의 반복되는 루프에 의존합니다. 연구자들은 후보 방향을 테스트하고, 증거를 해석하며, 그 결과로 얻은 교훈을 이후 시도로 가져갑니다. 본 연구는 AI 에이전트가 장기적으로 이 루프를 자율적으로 실행할 수 있는 방법을 탐구합니다. 우리는 장기 수명의 코디네이터(coordinator), 단기 수명의 실행자(executor), 그리고 시간에 걸쳐 가설, 아티팩트(artifact), 증거, 증류된 통찰을 연결하는 지속적인 트리인 가설 트리 정제(HTR, Hypothesis Tree Refinement)를 결합한 자율 연구를 위한 일반적인 프레임워크인 Arbor를 소개합니다. 코디네이터는 트리에 대한 전역 연구 전략을 관리하는 반면, 실행자는 격리된 워크트리(worktree)에서 개별 가설을 구현하고 테스트합니다. 결과가 반환됨에 따라 Arbor는 트리를 업데이트하고, 재사용 가능한 교훈을 전파하며, 탐색 프론티어(frontier)를 정제하고, 검증된 개선 사항을 수용합니다. 이 설계는 자율 연구를 국지적 시도의 연속에서 전략, 실행, 증거가 시간을 초월하여 전달되는 누적적 과정으로 전환시킵니다. 우리는 에이전트가 단계 수준의 인간 감독 없이 반복적인 실험을 통해 초기 연구 아티팩트를 개선하는 운영 설정인 자율 최적화(AO, Autonomous Optimization) 환경에서 Arbor를 평가합니다. 모델 학습, 하네스(harness) 엔지니어링, 데이터 합성의 6가지 실제 연구 작업에 걸쳐 Arbor는 모든 6가지 작업에서 최고의 홀드아웃(held-out) 결과를 달성했으며, 동일한 작업 인터페이스 및 리소스 예산 하에서 Codex와 Claude Code의 평균 상대적 홀드아웃 이득보다 2.5배 이상 높은 성과를 보였습니다. MLE-Bench Lite에서 Arbor는 GPT-5.5를 사용하여 86.36%의 Any Medal을 달성하여 비교 대상 중 가장 강력한 결과를 기록했습니다.