자율적 과학 실험의 실현은 현재 LLM이 생물학적 프로토콜이 요구하는 엄격한 절차적 논리와 정확성을 파악하는 데 어려움을 겪는다는 점에 의해 제한되고 있다. 이 근본적인 과제를 해결하기 위해, 우리는 생물학에서의 절차적 추론을 위한 포괄적 자원인 \textbf{BioProBench}를 제시한다. BioProBench는 22,413개의 사람이 작성한 프로토콜로 구성된 기초 컬렉션인 \textbf{BioProCorpus}에 기반한다. 이 코퍼스로부터, 우리는 체계적으로 523,784개의 태스크 인스턴스로 구성된 데이터셋을 구축하였으며, 이는 대규모 학습 자원과 새로운 지표를 갖춘 엄격한 벤치마크를 모두 제공한다. 10개의 주류 LLM을 평가한 결과, 일반적인 이해도는 높지만 깊은 추론, 정량적 정밀도, 그리고 안전성 인식을 요구하는 태스크에서 성능이 크게 하락함을 확인하였다. BioProCorpus가 이러한 문제를 완화하는 데 갖는 가치를 입증하기 위해, 우리는 코퍼스에 기반한 \textbf{ProAgent}를 개발하였으며, ProAgent는 최신 기술 수준을 상당히 앞당긴다. https://github.com/YuyangSunshine/bioprobench and https://huggingface.co/BioProBench.
멀티모달 대규모 언어 모델은 시각적 콘텐츠를 설명할 수 있지만, 실행 가능한 절차를 생성하는 능력은 아직 충분히 탐구되지 않았다. 본 논문에서 제안한 CrochetBench는 코바늘뜨기에서 세밀한 절차적 추론을 통해 묘사에서 실행으로의 이러한 전환을 평가한다. 모델은 봉합(stitch)을 인식하고, 구조적으로 적절한 지시를 선택하며, 컴파일 가능한 절차를 생성해야 한다. 우리는 중간 표현으로 CrochetPARADE DSL을 채택하여, 실행을 통한 구조적 검증과 기능적 평가를 가능하게 한다. 이 벤치마크는 봉합 분류, 지시 그라운딩(grounding), 자연어 및 이미지-DSL 번역 등의 작업을 포괯한다. 모든 작업에서 평가가 표면 수준 유사성에서 실행 가능한 정확성으로 전환될수록 성능이 급격히 감소하며, 이는 장거리 기호 추론과 3D 인식 절차적 합성의 한계를 드러낸다. 제안한 CrochetBench는 멀티모달 모델의 절차적 역량을 평가하는 새로운 관점을 제공하며, 실제 창작 도메인에서 표면 수준 이해와 실행 가능한 정밀도 사이의 격차를 부각한다. 코드는 https://github.com/Peiyu-Georgia-Li/crochetBench 에서 확인할 수 있다.
전문 투자자의 절차적 의사결정 프레임워크를 LLM이 얼마나 정확히 재구성하고 적용할 수 있는지 평가하기 위해, 8개 인지 계층(L1~L8)에 걸친 다층 벤치마크 InvestPhilBench와 자동화 채점 파이프라인(BASP), 실패 모드 감지 프로토콜(FMDP), 게이트 재구성 정확도(GRA)를 제시한다. 주요 발견은 복합 점수(BASP)가 최전선 모델에서 포화 상태에 이르러 절차적 결핍을 숨기는 반면, GRA는 여전히 유의미한 절차적 격차를 드러낸다는 것이다(프론티어 모델 L4 GRA ≈ 0.77, L7 GRA 0.57~0.62).
TMK 기반 질문 생성 전략과 그라운딩(grounding) 검증 프레임워크를 통해 절차적 추론(procedural reasoning) 평가 데이터셋을 구성하고 분석한 결과, 엄격한 TMK 생성 방식이 가장 높은 품질을 보였습니다. 자연스러운 표현이 반드시 그라운딩을 보장하지 않으므로 명시적인 표현 인식 검증이 필요함을 확인했습니다.