BioProBench: 자율 과학에서 생물학적 프로토콜 추론을 위한 코퍼스 및 벤치마크
BioProBench: A Corpus and Benchmark for Biological Protocol Reasoning in Autonomous Science
자율적 과학 실험의 실현은 현재 LLM이 생물학적 프로토콜이 요구하는 엄격한 절차적 논리와 정확성을 파악하는 데 어려움을 겪는다는 점에 의해 제한되고 있다. 이 근본적인 과제를 해결하기 위해, 우리는 생물학에서의 절차적 추론을 위한 포괄적 자원인 \textbf{BioProBench}를 제시한다. BioProBench는 22,413개의 사람이 작성한 프로토콜로 구성된 기초 컬렉션인 \textbf{BioProCorpus}에 기반한다. 이 코퍼스로부터, 우리는 체계적으로 523,784개의 태스크 인스턴스로 구성된 데이터셋을 구축하였으며, 이는 대규모 학습 자원과 새로운 지표를 갖춘 엄격한 벤치마크를 모두 제공한다. 10개의 주류 LLM을 평가한 결과, 일반적인 이해도는 높지만 깊은 추론, 정량적 정밀도, 그리고 안전성 인식을 요구하는 태스크에서 성능이 크게 하락함을 확인하였다. BioProCorpus가 이러한 문제를 완화하는 데 갖는 가치를 입증하기 위해, 우리는 코퍼스에 기반한 \textbf{ProAgent}를 개발하였으며, ProAgent는 최신 기술 수준을 상당히 앞당긴다. https://github.com/YuyangSunshine/bioprobench and https://huggingface.co/BioProBench.