Openhagen Worlds: 과학적 발견 에이전트의 측정과 학습을 위한 보정된 환경
Openhagen Worlds: Calibrated Environments for Measuring and Training Scientific Discovery Agents
한국어 초록
과학을 수행하는 에이전트는 정보량이 큰 실험을 선택하고 그 결과로부터 추론해야 하지만, 대부분의 발견 벤치마크는 이 능력을 암기, 명시되지 않은 채점 규칙, 또는 지름길 정책과 분리하지 못한다. 본 논문은 27개의 절차적으로 생성된 환경(일부는 유한한 진리 공간을 가짐)으로 구성된 Openhagen Worlds를 소개한다. 이 환경들은 실험 추론의 고전적 퍼즐부터 시뮬레이터 기반의 물리 및 화학까지 아우르며, 에이전트는 예산 내에서 실험을 수행하고 결정론적 검증기가 숨겨진 진리와 대조하여 확인하는 답을 제출한다. 모든 관측은 전체 채점 규칙을 명시하며, 178개의 난이도 수준 각각은 보정되어 있다. 64개의 개발 인스턴스에서 스크립트 오라클이 0.75 이상, 가장 강력한 비연역적 정책이 0.25 이하, 통제된 각 지름길이 0.35 이하로 성공하는 경우에만 수준이 채택된다. 92개의 핵심 수준은 27개 패밀리 전체에 걸쳐 있으며 소형 모델 학습에 맞게 규모가 정해져 있고, 86개의 프런티어 단계는 15개의 발견 세계를 더 어려운 질문과, 하나의 숨겨진 시스템에 대한 3단계, 5단계, 8단계 이상의 확정 단계 캠페인으로 확장한다. 패밀리와 단계마다 하나씩인 동일한 84개의 보류된 프런티어 인스턴스에서, DeepSeek V4.1 Flash는 호출당 16,384 토큰의 기본 추론 강도에서 32개를, 호출당 최대 393,216 토큰의 최대 강도에서 57개를 해결한다(오라클: 79). 남은 향상 여지는 8단계 캠페인에서 가장 크다. 온폴리시 전문가 반복은 9B 모델에 완만한 이득을 주어, 학습된 패밀리에 대한 핵심 계층 성공률이 0.090에서 0.148로 상승하며, 이는 부분적으로 행동 형식의 개선에 기인하고 GPQA Diamond에서는 감지 가능한 성능 저하가 없다. 호스팅 서비스가 핵심 계층의 보류된 인스턴스를 제공한다.
원문 초록
Agents that do science must choose informative experiments and reason from their results, but most discovery benchmarks cannot separate that skill from recall, unstated scoring rules or shortcut policies. We introduce Openhagen Worlds, a suite of 27 procedurally generated environments (some with finite truth spaces), from classic puzzles of experimental reasoning to simulator-grounded physics and chemistry, in which an agent runs experiments under a budget and commits an answer that a deterministic verifier checks against a hidden truth. Every observation states the complete scoring rule, and each of the 178 difficulty levels is calibrated: it is admitted only if, on 64 development instances, a scripted oracle succeeds on at least 0.75, the strongest plausible non-deductive policy on at most 0.25 and each gated shortcut on at most 0.35. The 92 core levels span all 27 families and are sized to train small models; the 86 frontier rungs extend the 15 discovery worlds with harder questions and with campaigns of three, five and eight or more committed stages on one hidden system. On the same 84 withheld frontier instances, one per family and rung, DeepSeek V4.1 Flash solves 32 at its default reasoning effort with 16,384 tokens per call and 57 at its maximum effort with up to 393,216 tokens per call (oracle: 79); the headroom that remains is largest in eight-stage campaigns. On-policy expert iteration gives a 9B model modest gains: its core-tier success on trained families rises from 0.090 to 0.148, partly through better action format, with no detectable loss on GPQA Diamond. A hosted service plays the core tier's withheld instances.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24711v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.