NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?
NatureBench는 Nature 계열 동료심사 논문 90개 과제로 구성된 교차학문 벤치마크로, NatureGym 파이프라인이 논문별 컨테이너 과제 환경을 자동 구축해 코딩 에이전트(agent)가 발표된 SOTA(state-of-the-art)를 넘어설 수 있는지 평가한다. 웹 검색을 금지한 프로토콜에서 최강 에이전트도 g>0.1 기준 17.8% 과제에서만 SOTA를 초과했으며, 성공은 주로 과학 과제를 지도학습 예측 문제로 치환하는 방법론적 번역에서 비롯되고 실패는 잘못된 방법 선택과 연산 예산 부족이 주된 원인이었다.