CompMat-Bench: 계산재료과학을 위한 AI 에이전트 벤치마크
CompMat-Bench: Benchmarking AI Agents for Computational Materials Science
과학 연구 작업에서 AI 에이전트(agent)를 평가하는 것은 기반이 되는 실험이나 계산에 소요되는 시간과 자원의 제약을 받습니다. 계산재료과학 연구에서는 에이전트와 시도 전반에 걸쳐 비용이 많이 드는 동일한 시뮬레이션을 반복하는 것이 평가를 비현실적으로 만들 수 있습니다. 본 연구에서는 최근 발표된 계산재료과학 연구에서 도출된 94개의 작업으로 구성된 벤치마크인 CompMat-Bench를 소개하며, 각 작업은 에이전트가 연구의 과학적 목표를 달성하기 위한 한 단계를 완료하도록 요구합니다. 평가 과정에서 비용이 많이 드는 시뮬레이션을 피할 수 있도록 연구 단계를 미리 재현하고, 고비용 시뮬레이션을 위한 입력 준비 및 출력 분석 능력을 바탕으로 에이전트를 평가합니다. 재현된 입력과 결과는 LLM 심사위원 없이 고정된 규칙으로 에이전트를 채점하기 위한 정답(ground truth) 역할을 합니다. 이 벤치마크는 단일 작업 및 관련 작업으로 구성된 워크플로, 그리고 각각에 대해 방법론적 안내가 완전하거나 축소된 상태를 포함하는 네 가지 평가 조건을 지원합니다. 단일 작업에서 완전한 안내가 제공될 때, 세 가지 대규모 언어 모델(LLM) 기반의 에이전트는 94개 작업에서 66.0-90.4%의 통과율을 보이며 개별 재료 연구 단계를 완수할 수 있는 능력을 입증했습니다. 더 긴 워크플로와 축소된 안내는 모두 에이전트의 성능을 제한할 수 있지만, 에이전트마다 서로 다른 방식으로 작용합니다. 즉, 약한 에이전트의 통과율은 낮아지는 반면, 가장 강력한 에이전트는 긴 워크플로와 축소된 안내가 결합될 때만 성능 저하를 보였습니다. 실패 분석 결과 대부분의 실패는 소프트웨어 사용 오류보다는 과학적 오류에 기인하는 것으로 나타났습니다. CompMat-Bench는 실제 재료 연구 단계에서 에이전트를 비교하고 에이전트의 실패 모드를 분석할 수 있는 기반을 제공합니다.