박사후 연구원 수준 자연과학 문제에 대한 LLM 능력 벤치마킹
Benchmarking LLM abilities on postdoc-level natural science problems
한국어 초록
과학 문제에는 정답지가 없으므로, 에이전트를 평가하려면 어떤 에이전트도 실행하기 전에 무엇이 더 나은 해법인지 정해야 한다. 기존 벤치마크는 기호적 답을 정답지와 대조하거나, 실행 가능한 작업이 필요한 경우 단위 테스트, 루브릭, 또는 경연 리더보드 순위로 채점한다. 이 중 어느 것도 한 분야가 어떤 발표된 방법이 다른 방법보다 낫다고 판단하는 기준은 아니다. STEMBench는 이 기준을 직접 채택한다. 고에너지 물리학, 천체물리학, 신경과학의 12개 연구 문제는 각각 해당 분야 자체의 성능 지표로 채점되며, 각 문제에는 두 개의 측정된 기준점이 제공된다. 하나는 도메인 지식을 전혀 쓰지 않은 제출물이고, 다른 하나는 발표된 방법을 재현한 전문가 참조 해법이며, 둘 다 벤치마크와 함께 제공되는 코드를 실행하여 얻는다. 두 기준점 사이의 구간은 한 문제 중 얼마나 많은 부분이 엔지니어링이 아니라 과학적 통찰로 넘어서는 것인지를 나타낸다. 8개의 최첨단 모델 전반에서 과제 수준의 승리와 도메인 수준의 선두는 분리되며, 12개 과제 중 5개에서 이긴 모델도 어떤 도메인 평균에서도 선두가 아니다. 고노력 교차 모델 비교에서는 12개 과제 중 7개에서 적어도 한 모델의 평균 점수가 전문가 기준점을 넘어선다. 나머지 5개는 불확실성 추정, 잠재 및 인과 추론, 기관 간 임상 분류에 걸쳐 있다. 수치 점수와 공식 제출물 유효성은 성능의 서로 다른 측면을 포착하므로 별도로 보고한다. 과제, 채점기, 기준점, 하네스를 공개한다.
원문 초록
Scientific problems have no answer key, so evaluating an agent means deciding what counts as a better solution before any agent is run. Existing benchmarks either match a symbolic answer against a key or, where they require executable work, score it by unit tests, by a rubric, or by position on a competition leaderboard. None of these is the criterion by which a field decides that one published method beats another. STEMBench adopts that criterion directly. Each of its twelve research problems in high-energy physics, astrophysics and neuroscience is scored by its own field's figure of merit, and each comes with two measured anchors: a submission that uses no domain knowledge, and an expert reference reproducing a published method, both obtained by running code shipped with the benchmark. The interval between them states how much of a problem is crossed by scientific insight rather than by engineering. Across eight frontier models, task-level wins and domain-level leadership dissociate: a model that wins five of the twelve tasks leads no domain mean. In the high-effort cross-model comparison, at least one model's mean score exceeds the expert anchor on seven of twelve tasks. The remaining five span uncertainty estimation, latent and causal inference, and cross-site clinical classification. Numerical scores and official-submission validity capture different aspects of performance and are reported separately. We release the tasks, graders, anchors and harness.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24321v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.