frontis.cn

이 이메일 도메인이 관측된 논문 2건

arXiv:2606.24530v1cs.CL

NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

NatureBench는 Nature 계열 동료심사 논문 90개 과제로 구성된 교차학문 벤치마크로, NatureGym 파이프라인이 논문별 컨테이너 과제 환경을 자동 구축해 코딩 에이전트(agent)가 발표된 SOTA(state-of-the-art)를 넘어설 수 있는지 평가한다. 웹 검색을 금지한 프로토콜에서 최강 에이전트도 g>0.1 기준 17.8% 과제에서만 SOTA를 초과했으며, 성공은 주로 과학 과제를 지도학습 예측 문제로 치환하는 방법론적 번역에서 비롯되고 실패는 잘못된 방법 선택과 연산 예산 부족이 주된 원인이었다.

arXiv:2606.23654v1cs.CL

EnterpriseClawBench: 실제 업무 세션 기반 에이전트 벤치마킹

EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions

실제 기업 워크스페이스 에이전트 세션에서 852개의 재현 가능 태스크를 구축한 EnterpriseClawBench 벤치마크를 제안하며, 내부 콘텐츠로 벤치마크 데이터는 공개하지 않고 구축·평가 프로토콜을 재사용 가능한 기여로 제공한다. Lite 120개 태스크에서 Codex with GPT-5.5가 0.663으로 최고 성능을 기록했고, 기업 에이전트 평가는 단일 점수보다 하네스-모델 조합, 산출물 전달, 시각적 품질, 비용, 런타임, 스킬 전이 행동을 함께 보고해야 함을 보여준다.