arXiv:2611.22490v1 cs.AI

SciWorkBench: 실제 과학 연구 워크플로 벤치마크

SciWorkBench: A Benchmark for Real Scientific Workflows

Yuchen Zhang, Taolin Han, Jinghang Wang, Jinxin Wang, Yun Wu, Wai Yuet Chiu, Xiaogang Li, Yuting Fu, Kewei Sun, Jiaxin Li, Qile Jin, Jiajia Li, Ruodan Chen, Qingteng Chen, Jialu Nie 외 7명

제출 2026-11-18

한국어 초록

언어 모델은 프로젝트를 계획하고 실행하며 피드백으로 행동을 개선하는 에이전트로 점점 더 많이 쓰인다. 현재 에이전트가 실제 과학자처럼 프로젝트를 끝낼 수 있는가? 이를 살펴보기 위해 생물학, 화학, 재료과학, 물리학의 실제 과학 과제에서 에이전트의 능력을 평가하는 SciWorkBench를 소개한다. 동료 심사를 거친 논문이나 전문가가 제공한 연구 시나리오를 바탕으로 구축했다. 분야별 전문가가 검증한 통합 과학 분석 프레임워크도 제시한다. SciWorkBench 과제 대부분을 이 프레임워크로 분류할 수 있으며, 과제마다 하나 이상의 단계를 다룬다. 공통 실행 및 채점 절차로 Claude Code와 Codex 에이전트 프레임워크에서 최신 모델을 평가했다. 가장 성능이 높은 에이전트의 평균 점수는 57.38로, 현재 에이전트가 현실적인 과학 연구 워크플로를 여전히 어려워함을 보여 줬다. 실패를 분석한 결과, 과학 지식을 특정 과제의 절차로 바꾸기 어렵고 여러 모달리티의 근거를 충분히 통합하지 못하며 과학적 자기 교정 능력이 제한되는 세 가지 약점이 반복됐다. 이 결과는 신뢰할 수 있는 과학 연구용 AI 시스템의 발전을 측정하려면 워크플로 기반 평가가 중요함을 보여 준다.

원문 초록

Language models are increasingly being used as agents capable of planning and executing projects, as well as refining their actions through feedback. This shift raises a question: can current agents complete projects like real scientists? To examine this question, we introduce SciWorkBench, a benchmark for evaluating agents' abilities on real science tasks across biology, chemistry, materials science, and physics. SciWorkBench is built from peer-reviewed literature or expert-contributed research scenarios. We also propose a unified scientific analysis framework validated by domain experts, which can categorize most tasks in SciWorkBench. Each task covers one or more stages of this framework. We evaluate up-to-date models within the Claude Code and Codex agent frameworks under a unified execution and grading protocol. The best-performing agent achieves a mean score of 57.38, indicating that current agents still struggle with realistic scientific workflows. Our failure analysis identifies three recurring weaknesses at the workflow level: difficulty translating scientific knowledge into task-specific procedures, weak integration of evidence across different modalities, and limited capacity for scientific self-correction. These findings highlight the importance of workflow-based evaluation for measuring progress toward reliable AI systems for scientific research.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22490v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.