arXiv:2603.07980v2 cs.LG

$OneMillion-Bench: 언어 에이전트는 인간 전문가와 얼마나 차이 나는가?

\$OneMillion-Bench: How Far are Language Agents from Human Experts?

Yang Liu, Jiaqi Li, Jun Bai, Qianyu Yang, Xiaobo Hu, Tao Peng, Zaiyuan Wang, Ran Tian, Jiayun Dong, Chun Zhang, Zixia Jia, Kaiyuan Chen, Yixin Ren, Yang Liu, Yanglihong Xiao 외 8명

제출 2026-03-09

저자 비고

arXiv Comments

NeurIPS 2026 (Evaluations and Datasets Track); the data and code is available at https://github.com/humanlaya/OneMillion-Bench

한국어 초록

언어 모델(LM)이 채팅 어시스턴트에서 다단계 추론과 도구 사용이 가능한 장기 호라이즌(long-horizon) 에이전트로 발전함에 따라, 기존 벤치마크는 여전히 실제 전문 업무의 요구에 미치지 못하는 구조화되거나 시험 형식의 과제에 주로 한정되어 있다. 이를 해결하기 위해 우리는 법률, 금융, 산업, 의료, 자연과학 분야에 걸친 400개의 전문가 선별 과제로 구성된 벤치마크 $OneMillion-Bench($OMB)를 소개하며, 이는 경제적으로 중대한 영향을 미치는 시나리오 전반에서 에이전트를 평가하기 위해 구축되었다. 기존 연구와 달리, 이 벤치마크는 권위 있는 출처 검색, 상충하는 증거의 해결, 도메인별 규칙 적용, 제약 조건 하의 의사결정을 요구하며, 정답 여부는 최종 답변만큼이나 추론 과정에도 좌우된다. 우리는 사실적 정확성, 논리적 일관성, 실용적 타당성, 전문 분야 규정 준수도를 평가하는 루브릭(rubric) 기반 평가 프로토콜을 채택하였으며, 에이전트 간 의미 있는 차별화를 보장하기 위해 전문가 수준의 문제에 초점을 맞춘다. 종합적으로, $OMB는 에이전트의 신뢰성(agentic reliability), 전문적 깊이, 그리고 도메인 집약적 시나리오에서의 실무 준비도를 평가하기 위한 통합 테스트베드를 제공한다.

원문 초록

As language models (LMs) evolve from chat assistants to long-horizon agents capable of multi-step reasoning and tool use, existing benchmarks remain largely confined to structured or exam-style tasks that fall short of real-world professional demands. To this end, we introduce \$OneMillion-Bench (\$OMB), a benchmark of 400 expert-curated tasks spanning Law, Finance, Industry, Healthcare, and Natural Science, built to evaluate agents across economically consequential scenarios. Unlike prior work, the benchmark requires retrieving authoritative sources, resolving conflicting evidence, applying domain-specific rules, and making constraint decisions, where correctness depends as much on the reasoning process as the final answer. We adopt a rubric-based evaluation protocol scoring factual accuracy, logical coherence, practical feasibility, and professional compliance, focusing on expert-level problems to ensure meaningful differentiation across agents. Together, \$OMB provides a unified testbed for assessing agentic reliability, professional depth, and an indicator of practical readiness in domain-intensive scenarios.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.07980v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making, Benchmarking

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15710v1cs.AI공통 태그 Decision Making, Benchmarking

제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가

Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate

어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.

arXiv:2610.15714v1cs.AI공통 태그 Decision Making, Benchmarking

MedHarnessBench: 헬스케어 에이전트(Agent) 평가를 위한 통합 벤치마크

MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation

헬스케어 에이전트(agent)는 이질적인 도구와 상태를 유지하는 워크플로우를 통해 종단적인(longitudinal) 임상 증거를 신뢰할 수 있는 행동으로 변환해야 하며, 이러한 조건에서 모델 중심 시스템은 컨텍스트를 잃거나, 도구를 오용하거나, 중대한 상태 전환을 검증하지 못하거나, 권한 경계를 침범할 수 있다. 기존의 의료 에이전트 벤치마크는 주로 최종 작업 결과(terminal task outcome)를 강조하기 때문에, 실행 실패가 에이전트 모델, 런타임 하네스(harness), 혹은 이들의 상호작용 중 어디에서 발생하는지 판단하기 어렵다. 우리는 결과를 보존하면서 일곱 가지 헬스케어 특화 프로세스 차원—진료 조치 이행(Care Action Fulfillment), 임상 자원 활용 능력(Clinical Resource Competence), 환자-증거 정합성(Patient-Evidence Alignment), 임상 워크플로우 연속성(Clinical Workflow Continuity), 임상 감사 가능성(Clinical Auditability), 폐루프 검증(Closed-Loop Verification), 임상 행위 경계(Clinical Conduct Boundaries)—을 독립적으로 평가하는 프레임워크인 Medical Harness Protocol을 제시한다. 또한 정규화된 개입 추적(normalized intervention trace)은 런타임 지원이 제공 가능한지(available), 활성화되었는지(activated), 전달되었는지(delivered), 에이전트에 의해 채택되었는지(adopted), 그리고 이후 행동에 전파되었는지(propagated)를 추적한다. 우리는 이 프로토콜을 FHIR/EHR 연산, 헬스케어 행정 인터페이스, 멀티모달 임상 도구 전반에 걸친 342개의 실행 가능한 작업으로 구성된 MedHarnessBench로 구체화한다. 16,000회 이상의 통제된 작업 실행에서 MedHarness는 최종 작업 성공률, 중간 하위 작업 완료율, 헬스케어 특화 프로세스 품질 전반에서 폭넓은 개선을 보인다. 또한 우리는 MedHarness를 여러 범용 하네스(harness)와 비교 평가하고, 통제된 단일 결함 교란(single-fault perturbation)을 사용하여 일곱 차원 평가의 민감도와 구분력을 검증한다. 이러한 결과는 헬스케어 특화 런타임 지원이 작업 완료율과 실행 품질을 모두 상당히 개선할 수 있음을 보여주는 동시에, 최종 결과만으로는 포착할 수 없는 실패를 드러낸다. 코드와 자료는 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare 에서 확인할 수 있다.

arXiv:2610.15750v1cs.AI공통 태그 Benchmarking, tool use

Google Earth AI 지리공간 추론(Geospatial Reasoning) 에이전트: 역량과 체계적 평가

Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation

Google Earth AI는 지리공간(geospatial) AI 모델들의 패밀리와 이를 오케스트레이션하는 에이전트로 구성된다. 본 논문에서는 이 에이전트인 Google Earth AI의 Geospatial Reasoning 에이전트(GRA)를 소개한다. GRA는 Gemini 기반의 연구 시스템으로, 지리공간 데이터 소스, 파운데이션 모델, 그리고 도구들을 결합하여 우리 지구에 관한 질문에 답한다. GRA는 이러한 요소들을 모듈화된 도메인 스킬로 구성하고, 사전(upfront) 지리공간 계획과 결합하여 복잡한 질의를 다단계 워크플로우로 분해한다. 이러한 시스템을 평가하는 것은 어려운데, 실제 문제는 여러 타당한 워크플로우를 허용하고, 대규모 카탈로그 전반에 걸친 데이터 발견(data discovery)을 요구하며, 계속 변화하는 그라운드 트루스(ground truth)에 의존하기 때문이다. 우리는 두 가지 벤치마크를 도입하고 이들의 개발 분할(development split)을 공개한다. GeoExpertQueries는 실무자의 사용 사례(use case)에 기반하고 지리공간 전문가들에 의해 정제된 복잡한 분석 문제들을 제시한다. 각 문제는 세 명의 독립적인 전문가로부터 얻은 합의된 골든 워크플로우(golden workflow)와 짝을 이루며, 사람이 검증한 도구에 무관한(tool-agnostic) 오토레이터(autorater)에 의해 채점된다. GeoKTools는 필요한 도구 유형의 수를 체계적으로 변화시키는 결정론적(deterministic) 참조 솔버(reference solver)를 갖춘 템플릿화된 질의들로 구성된다. 우리는 또한 CBGB와 UnivEARTH라는 두 가지 외부 벤치마크를 사용하는데, 이 중 UnivEARTH는 포화(saturated) 상태임을 확인하였다. GRA의 도구와 에이전트적(agentic) 오케스트레이션의 기여를 분리하기 위해, 우리는 Gemini 3.1 Pro와 3.8 Flash 각각에 대해 네 가지 구성을 비교한다: 단독 LLM, 기본 도구를 갖춘 LLM, GRA의 스킬과 도구는 갖추었지만 사전 계획 및 실행 가이드는 없는 LLM, 그리고 GRA 자체이다. 기본 도구만 있는 경우, 고성능 모델은 템플릿화된 질의에서는 정답의 많은 부분을 복원하지만, 개방형(open-ended) 문제에서는 전문가 워크플로우의 작은 일부만을 충족시킨다. 반면 GRA는 두 경우 모두에서 우수한 성능을 보인다. 가장 큰 성능 향상은 GRA의 스킬과 도구로부터 나오며, 개방형 문제에서는 그 계획 및 실행 가이드가 Gemini 3.8 Flash와 결합될 때 추가적인 향상을 가져와, Flash가 더 낮은 비용으로 Pro와 동등하거나 이를 능가하는 성능을 내도록 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.