EpiBench: 후성유전체학 분석에서 AI 에이전트의 검증 가능한 평가
EpiBench: Verifiable Evaluation of AI Agents on Epigenomics Analysis
한국어 초록
우리는 단기 후성유전체학(epigenomics) 분석을 위한 검증 가능한 벤치마크인 EpiBench를 소개한다. EpiBench는 에이전트(agent)가 현실적인 워크플로우 상태에서 명확하게 정의된 분석 결정을 내리고 결정론적으로 채점 가능한 답변을 반환할 수 있는지를 평가한다. 이 벤치마크는 CUT&Tag/CUT&RUN, ATAC-seq, ChIP-seq, DNA 메틸화(methylation) 워크플로우에 걸쳐 106개의 평가 항목을 포함한다. 16개의 모델-하니스(harness) 쌍으로부터 생성된 5,088개의 유효한 궤적(trajectory) 전반에서 어떤 시스템도 과반수의 시도를 통과하지 못했다: GPT-5.5 / Pi가 45.0%(318회 시도 중 143회 통과; 95% 신뢰 구간(CI), 36.3--53.7)로 선두를 기록했으며, GPT-5.5 / OpenAI Codex가 39.9%(318회 시도 중 127회 통과; 95% CI, 31.6--48.3)로 그 뒤를 이었다. Claude Opus 4.8 Max / Pi와 GPT-5.4 / Pi는 각각 39.0%(318회 시도 중 124회 통과; 95% CI, 각각 30.2--47.8 및 31.0--47.0)를 기록했다. 성능은 분석법(assay) 유형에 따라 다양하게 나타났으며, 실패한 실행의 상당수에도 정답의 일부가 포함되어 있었다. 에이전트들은 올바른 파일을 찾고 유용한 중간 결과를 계산하는 경우가 많았지만, 작업에 더 깊은 분석법별 과학적 판단이 요구될 때 실패하였다.
원문 초록
We introduce EpiBench, a verifiable benchmark for short-horizon epigenomics analysis. EpiBench evaluates whether agents can make well-defined analysis decisions from realistic workflow states and return deterministically gradable answers. The benchmark includes 106 evaluations across CUT\&Tag/CUT\&RUN, ATAC-seq, ChIP-seq, and DNA methylation workflows. Across 5,088 valid trajectories from 16 model-harness pairs, no system passed a majority of attempts: GPT-5.5 / Pi led at 45.0\% (143/318 attempts; 95\% confidence interval (CI), 36.3--53.7), followed by GPT-5.5 / OpenAI Codex at 39.9\% (127/318 attempts; 95\% CI, 31.6--48.3). Claude Opus 4.8 Max / Pi and GPT-5.4 / Pi each passed 39.0\% (124/318 attempts; 95\% CI, 30.2--47.8 and 31.0--47.0, respectively). Performance varies across assay types, and many failed runs still contain parts of the correct answer. Agents often found the right files and computed useful intermediate results, but failed when the task required deeper, assay-specific scientific judgment.
요약
후성유전체학(epigenomics) 분석을 위한 검증 가능한 벤치마크(benchmark)인 EpiBench를 소개하며, 다양한 워크플로우에서 AI 에이전트(agent)의 분석 의사결정 능력을 평가한다. 16개 모델-하니스 쌍에 대한 평가 결과, GPT-5.5 / Pi가 45.0%로 최고 성능을 기록했으나 어떤 시스템도 과반수의 시도를 통과하지 못하는 등 에이전트가 깊이 있는 과학적 판단에는 어려움을 겪는 것으로 나타났다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13602v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
Humanize MLE 에이전트: 단일 에이전트 한계를 넘어서는 다중 에이전트 세션 교대
Humanize MLE Agents: Multi-Agent Session Alternation Beyond Single-Agent Limits
장기 시계(long-horizon) 머신러닝 엔지니어링(MLE)을 위한 기존 LLM 기반 에이전트 접근법들은 흔히 컨텍스트 엔지니어링을 사용하며, 이는 도구, 스킬, 축적된 경험을 관리하는 커스텀 하니스(harness)를 통해 구현된다. 그러나 우리는 단일 세션 실행이 길어질수록 에이전트의 추론 강도가 저하되며 진행 속도가 느려진다는 것을 발견했으며, 이를 장기 시계 둔화(long-horizon deceleration)라고 요약한다. 또한 기반 모델이 개선됨에 따라 이러한 커스텀 하니스의 이점이 사라진다는 것을 발견했으며, 이를 하니스 노후화(harness staleness)라고 요약한다. 이러한 발견은 이러한 이점이 버전 간에 지속되지 않을 수 있음을 시사하며, 이는 에이전트들이 세션에 걸쳐 서로의 작업을 기반으로 발전시키는 워크플로우 수준의 접근법을 동기화한다. 우리는 이러한 교대하는 에이전트 세션을 컨텍스트 재설정 준-마르코프 결정 과정(context-reset semi-Markov decision process, CR-SMDP)으로 모델링하고, 교대가 단일 에이전트 기준선 한계를 초과하기 위한 충분 조건을 수립하며, 명시적인 실험 예산 경계를 도출하고, 세션 상한이 이러한 이점을 보존하는 시점을 규명한다. 이러한 분석에 따라, 우리는 Humanize MLE 에이전트(HMA)를 소개한다. HMA는 공유 작업공간에서 두 에이전트를 교대시키며, 각 세션을 최대 k개의 실험으로 제한하고 세션 간 컨텍스트를 재설정하며, 추가적인 태스크별 하니스나 사전 지식 보강 없이 동작한다. MLE-bench의 75개 캐글(Kaggle) 과제에서 HMA는 78.2%의 최신(state-of-the-art) any-medal 비율을 달성하며, 가장 강력한 오픈소스 기준선을 8.0포인트 상회하면서도 그 시간 예산의 4분의 1만을 사용한다. 또한 다섯 개의 이질적인 에이전트 쌍에 걸친 여섯 가지 구성 중에서, HMA는 구성 요소 기준선들에 비해 any-medal 비율을 평균 6.4포인트 향상시켜, 에이전트 쌍 간 일반성을 입증한다. 커널(kernel) 최적화에 대한 보충 사례에서는 878 사이클에 도달하여 커뮤니티 리더보드 선두와 1.6% 이내의 차이를 보이며, MLE를 넘어선 적용 가능성을 입증한다.
MAGMA-Bench: 동적 태스크 및 실행 실패 환경에서의 장기 임바디드 에이전트 평가
MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures
장기(long-horizon) 임바디드 에이전트(embodied agent)는 실행이 진행됨에 따라 태스크 관련 정보를 유지하고, 이종 로봇들을 조율하며, 의사결정을 적응적으로 변경할 수 있어야 합니다. 기존 벤치마크는 동적 태스크 실행 및 임바디드 멀티 에이전트 조율을 조사하지만, 둘의 교차점에 대한 평가는 제한적입니다. 본 연구에서는 동적 멀티 로봇 환경에서의 지속적 태스크 추론을 위한 아키텍처 비종속적 벤치마크인 MAGMA-Bench를 소개합니다. MAGMA-Bench는 이종 역량을 가진 로봇 간의 조율이 필요한 시나리오와 함께, 실행 실패, 태스크 중단, 미션 업데이트를 포함한 통제된 온라인 섭동(online perturbation) 및 늘어나는 태스크 범위에 걸쳐 에이전트를 평가합니다. 본 벤치마크는 구조화된 스킬 수준 인터페이스를 활용하여 태스크 수준 추론을 인지 및 저수준 제어로부터 분리합니다. 저자들은 로컬 배포가 가능한 오픈 가중치 플래너, 멀티 에이전트 상태 추적 전략, 그리고 프론티어 모델들을 평가합니다. 평가된 가장 강력한 모델조차도 섭동이 없는 에피소드의 상당 부분에서 실패하며, 온라인 섭동 하에서는 성공률이 더욱 감소합니다. 지도 적응(supervised adaptation)은 소형 모델의 성능을 크게 향상시키지만, 더 길고 다중 로봇이 관여하는 미션에서는 성능이 여전히 크게 낮게 유지됩니다. 저자들은 벤치마크, 261,646개의 태스크 수준 학습 예제, 그리고 아키텍처 비종속적 전문가 궤적 생성 파이프라인을 공개합니다.
제안에서 검증된 효과까지: 거버넌스 기반 AI 에이전트 실행을 위한 증거 기반 하네스 Praxa
From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution
대규모 언어 모델(LLM) 에이전트(agent)는 행동을 제안하고 실행할 수 있지만, 제안, 권한, 디스패치, 검증된 외부 효과, 서빙 승격은 서로 다른 주장입니다. 본 논문에서는 결정론적 승인, 중개 실행, 외부 리드백, 조정, 검토 기반 승격을 통해 이러한 상태들을 명시적으로 표현하는 에이전트 하네스인 Praxa를 제시합니다. 우리는 네 가지 증거 레인을 보고합니다. 첫째, 고정된 리비전에서 저자가 수행한 저장소 로컬 감사에서는 1,027/1,027개의 단위 테스트와 89/89개의 Workerd 테스트를 통과했고, 예상된 363개 소스 파일 전체를 계측했으며, 네 가지 커버리지 하한선을 충족했습니다. 다만 테스트별 원시 기록과 독립적인 재현 결과는 제공되지 않습니다. 둘째, 12개 선별된 태스크에 걸쳐 제공업체 지원 Terminal-Bench Core 0.1.1 파일럿에서 기준선(baseline)과 신뢰성 층(layer) 시험군은 엄격한 평가 36회 중 각각 17회를 통과했습니다. 신뢰성 층은 입력 토큰을 37.49%, 출력 토큰을 50.73% 더 많이 사용했으므로, 이 파일럿은 우월성을 뒷받침하지 않습니다. 셋째, 디버그 후 진행된 2차 조정 프록시 개발 비교에서 기준선과 소스 작성 후보는 각각 동일한 측정 정확도, 완전한 밀폐형 크래시 복구, 보호 위반 0건으로 180/180회의 시험을 완료했습니다. 해당 후보는 37.11% 적은 토큰, 33.84% 낮은 예상 엔드포인트 비용, 11.63% 적은 단계를 사용했으나, 이것이 향상된 품질, 지연 시간 또는 프로덕션 동작을 입증하지는 않습니다. 넷째, 배포된 소스/구성 증거는 경계가 지정된 반추, 재현율(recall) 회계, 메모리 컴파일, 도구 건전성 경로를 보여주지만 프로덕션 결과 향상은 보여주지 않습니다. Praxa가 뒷받침하는 기여는 권한에서 효과로의 전이를 명시적이고 테스트 가능하게 만드는 증거 기반 아키텍처입니다. 현재의 증거는 적대적 보안, 프로덕션 안전성, 일반적인 전문가 우월성, 자율적 재귀 최적화 또는 사용자 이점을 입증하지 않습니다.
CompMat-Bench: 계산재료과학을 위한 AI 에이전트 벤치마크
CompMat-Bench: Benchmarking AI Agents for Computational Materials Science
과학 연구 작업에서 AI 에이전트(agent)를 평가하는 것은 기반이 되는 실험이나 계산에 소요되는 시간과 자원의 제약을 받습니다. 계산재료과학 연구에서는 에이전트와 시도 전반에 걸쳐 비용이 많이 드는 동일한 시뮬레이션을 반복하는 것이 평가를 비현실적으로 만들 수 있습니다. 본 연구에서는 최근 발표된 계산재료과학 연구에서 도출된 94개의 작업으로 구성된 벤치마크인 CompMat-Bench를 소개하며, 각 작업은 에이전트가 연구의 과학적 목표를 달성하기 위한 한 단계를 완료하도록 요구합니다. 평가 과정에서 비용이 많이 드는 시뮬레이션을 피할 수 있도록 연구 단계를 미리 재현하고, 고비용 시뮬레이션을 위한 입력 준비 및 출력 분석 능력을 바탕으로 에이전트를 평가합니다. 재현된 입력과 결과는 LLM 심사위원 없이 고정된 규칙으로 에이전트를 채점하기 위한 정답(ground truth) 역할을 합니다. 이 벤치마크는 단일 작업 및 관련 작업으로 구성된 워크플로, 그리고 각각에 대해 방법론적 안내가 완전하거나 축소된 상태를 포함하는 네 가지 평가 조건을 지원합니다. 단일 작업에서 완전한 안내가 제공될 때, 세 가지 대규모 언어 모델(LLM) 기반의 에이전트는 94개 작업에서 66.0-90.4%의 통과율을 보이며 개별 재료 연구 단계를 완수할 수 있는 능력을 입증했습니다. 더 긴 워크플로와 축소된 안내는 모두 에이전트의 성능을 제한할 수 있지만, 에이전트마다 서로 다른 방식으로 작용합니다. 즉, 약한 에이전트의 통과율은 낮아지는 반면, 가장 강력한 에이전트는 긴 워크플로와 축소된 안내가 결합될 때만 성능 저하를 보였습니다. 실패 분석 결과 대부분의 실패는 소프트웨어 사용 오류보다는 과학적 오류에 기인하는 것으로 나타났습니다. CompMat-Bench는 실제 재료 연구 단계에서 에이전트를 비교하고 에이전트의 실패 모드를 분석할 수 있는 기반을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.