코딩 에이전트는 계산 재료과학 연구 결과를 재현할 수 있는가?
Can Coding Agents Reproduce Findings in Computational Materials Science?
한국어 초록
대규모 언어 모델(LLM)은 점점 더 자율 코딩 에이전트로 배치되고 있으며 소프트웨어 공학 벤치마크에서 매우 강한 성능을 보여 왔다. 그러나 이러한 성공이 계산 과학 워크플로로 이어지는지는 불분명하다. 여기서는 과제가 뛰어난 코딩 능력뿐 아니라 복잡하고 도메인 특화된 절차를 탐색하고 과학적 주장의 맥락에서 결과를 해석하는 능력도 요구된다. 이 질문에 답하기 위해 우리는 계산 재료과학 논문의 주장을 재현하는 LLM 기반 에이전트 능력을 평가하는 벤치마크 AutoMat을 제시한다. AutoMat은 세 가지 상호 연관된 과제를 던진다: 불완전하게 명시된 계산 절차의 복원, 전문화된 툴체인 탐색, 그리고 그렇게 얻은 근거가 주장을 뒷받침하는지 판단하는 것이다. 우리는 해당 분야 전문가와 긴밀히 협력하여 실제 재료과학 논문에서 주장을 엄선하고, 코딩 에이전트가 그러한 주장을 지지(또는 반박)하는 데 필요한 end-to-end 워크플로를 복원·실행할 수 있는지 검증한다. 이어 여러 대표적인 코딩 에이전트 설정을 여러 파운데이션 모델에 걸쳐 평가한다. 결과는 현재 LLM 기반 에이전트가 AutoMat에서 전반적으로 낮은 성공률을 보이며, 최고 성능 설정도 성공률이 53%에 불과함을 보여 준다. 오류 분석은 워크플로를 논문 본문만으로 재구성해야 할 때 에이전트 성능이 가장 나쁘고, 실패의 주된 원인이 불완전한 절차, 방법론적 일탈, 실행 취약성임을 추가로 밝힌다. 종합하면, 이러한 결과는 AutoMat을 계산 과학 재현성을 위한 벤치마크이자 AI-for-science 환경에서 에이전트형 시스템의 현재 한계를 진단하는 도구로 자리매김한다.
원문 초록
Large language models are increasingly deployed as autonomous coding agents and have achieved remarkably strong performance on software engineering benchmarks. However, it is unclear whether such success transfers to computational scientific workflows, where tasks require not only strong coding ability, but also the ability to navigate complex, domain-specific procedures and to interpret results in the context of scientific claims. To address this question, we present AutoMat, a benchmark for evaluating LLM-based agents' ability to reproduce claims from computational materials science. AutoMat poses three interrelated challenges: recovering underspecified computational procedures, navigating specialized toolchains, and determining whether the resulting evidence supports a claim. By working closely with subject matter experts, we curate a set of claims from real materials science papers to test whether coding agents can recover and execute the end-to-end workflow needed to support (or undermine) such claims. We then evaluate multiple representative coding agent settings across several foundation models. Our results show that current LLM-based agents obtain low overall success rates on AutoMat, with the best-performing setting achieving a success rate of only 53%. Error analysis further reveals that agents perform worst when workflows must be reconstructed from paper text alone and that they fail primarily due to incomplete procedures, methodological deviations, and execution fragility. Taken together, these findings position AutoMat as both a benchmark for computational scientific reproducibility and a tool for diagnosing the current limitations of agentic systems in AI-for-science settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.00803v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.