arXiv:2610.26829v2 cs.AI

ProteinGeoBench: 최전선 구조생물학 에이전트는 조회에는 능숙하지만 기하학에서는 길을 잃는다

ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry

Matt Turk, Brandon L. Neel, Diana M. Lopez, Zachary D. Smith, Grace N. Johnecheck, James B. Golden

제출 2026-11-19

한국어 초록

ProteinGeoBench는 에이전트에게 단백질 구조 파일을 제공하고, 기록된 사실을 조회하거나, 서열을 확인하거나, 원자 좌표로부터 기하 구조를 계산하거나, 구조에 대해 추론하도록 요구하는 131개 과제의 모음이다. 우리는 최전선 모델 4종을 모든 과제에서 여러 차례 실행했고(총 4,249회 실행), 26개 모델은 일부 과제에서 실행했다. 단일 종합 점수는 서로 다른 두 가지 능력을 가린다. 최전선 모델 4종 중 3종은 사실 조회에서 가장 우수하고 좌표 기반 계산에서 가장 부진하다. Claude Opus 5는 조회에서 0.907, 계산에서 0.716을 기록한다. Gemini 3.1 Pro는 예외이다. 기하학 과제는 가장 어려운 과제들 사이에서 과도하게 많이 나타난다. 네 모델이 모두 실패하는 12개 과제 중 절반이 계산 과제이며, 계산 과제는 전체 구성의 5분의 1에 불과하다. 또한 12개 중 8개는 26개 모델 중 어느 모델도 풀지 못했다. 상위 세 모델은 서로 0.031 이내의 차이를 보여 순위를 매기기에는 너무 가깝고, 과제당 1회 실행하는 경우 부트스트랩 재표본의 24%에서 다른 모델이 1위를 차지한다. 따라서 보고서는 과제 유형별 점수와 과제당 실행 횟수를 제시해야 한다. 또한 모델을 실행하는 소프트웨어인 에이전트 하네스와 그 네트워크 접근 여부도 명시해야 하는데, 이 둘이 점수를 변화시키기 때문이다. 15개 과제 부분집합에서 8개의 구조 데이터베이스를 차단하면 점수가 낮아졌고, 네트워크 접근을 제거하면 점수가 더 크게 낮아졌다. 우리의 하네스를 각 제공자의 자체 명령줄 에이전트로 교체하자 점수가 어느 방향으로든 최대 0.09만큼 변했다. 26개 모델 전반에서, 다른 과제에서 더 높은 점수를 받은 모델이 계산에서도 더 높은 점수를 받았다.

원문 초록

ProteinGeoBench is a set of 131 tasks that give an agent protein structure files and ask it to look up recorded facts, check sequences, calculate geometry from atom coordinates or reason about structures. We ran four frontier models on every task several times (4,249 runs) and 26 models on a subset. A single overall score hides two different skills. Three of the four frontier models are best at looking up facts and worst at calculating from coordinates: Claude Opus 5 scores 0.907 on lookup and 0.716 on calculation. Gemini 3.1 Pro is the exception. Geometry is overrepresented among the hardest tasks. Half of the twelve tasks that all four models fail are calculations, although calculations are a fifth of the suite, and eight of the twelve were solved by none of the 26 models. The three leading models are within 0.031 of one another, too close to order, and with one run per task a different model ranks first in 24% of bootstrap resamples. Reports should therefore give scores by task type and the number of runs per task. They should also state the agent harness, the software that runs the model, and its network access, because both change scores. On a 15-task subset, blocking eight structural databases lowered scores, and removing network access lowered them more. Replacing our harness with each provider's own command-line agent moved scores by up to 0.09 in either direction. Across the 26 models, those that scored higher on the other tasks also scored higher on calculation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.26829v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.