무엇이 Terminal-Bench 태스크를 어렵게 만드는가? 판정된 에이전트 코퍼스에서 진정한 난이도와 가짜 난이도 분리하기
What Makes a Terminal-Bench Task Hard? Separating Genuine Hardness from Fake-Hardness on an Adjudicated Agentic Corpus
한국어 초록
프론티어 벤치마크(frontier benchmark)에는 현재 모델들이 해결할 수 없는 태스크가 필요합니다. 그러나 어떤 모델도 해결하지 못하는 태스크라고 해서 그것이 곧바로 어려운 태스크가 되는 것은 아닙니다. 동일한 0%의 통과율이라 하더라도 실제 역량 격차에서 비롯될 수 있지만, 누락된 맥락, 오류가 있는 참조 솔루션, 인프라 장애, 혹은 우회 가능한 검증기(verifier) 때문일 수도 있습니다. 본 논문에서는 1,081개의 풀 리퀘스트(pull request), 639개의 평가 태스크, 28,801회의 시도, 그리고 기록된 에이전트 비용 105,933달러에 달하는 고정된 Terminal-Bench 3 / Frontier-Bench 0.1 프로덕션 기록을 사용하여 이 문제를 연구합니다. 우리는 전원 실패(all-fail) 태스크가 실제로 무엇을 증명하는지 질문을 던집니다. 정상적인 통과가 전혀 없는 125개 태스크를 대상으로 태스크 아티팩트, 참조 솔루션 실행, 빈 솔루션 대조군, 적대적 시도, 궤적(trajectory), 텔레메트리, 리뷰 기록을 결합하고 순차적 유효성 검사를 적용합니다. 그 결과 125개 태스크 중 단 78개만이 검증된 미해결(certified-unsolved) 후보로 남습니다. 나머지 태스크에는 오라클(oracle) 오류가 있는 14개, 인프라 장애가 지배적인 8개, 검증기 우회를 통해서만 통과 가능한 4개, 그리고 확보된 증거로는 해결 가능성이 입증되지 않는 21개가 포함됩니다. 따라서 성능 미포화(lack of saturation)와 진정한 난이도는 동일한 것이 아닙니다. 또한 '검증된 미해결'이라는 라벨의 범위는 좁습니다. 즉, 작성된 경로가 통과되었고, 인프라 장애가 주원인이 아니었으며, 명백한 우회가 관찰되지 않았고, 평가된 모든 에이전트가 실패했음을 의미할 뿐입니다. 이것이 본질적인 난이도, 검증기의 완전성, 또는 의도된 역량에서의 실패를 증명하지는 않습니다. 나아가 우리는 반려된 제출물과 통과 태스크를 분석하여 통과율만으로는 태스크가 왜 어려운지 설명할 수 없음을 보여줍니다. 종합적으로, 본 연구 결과는 프론티어 벤치마크가 전원 실패 태스크를 역량 주장의 근거로 사용하기 전에 그 배후에 있는 증거를 먼저 보고해야 함을 시사합니다.
원문 초록
Frontier benchmarks need tasks that current models cannot solve. But a task that no model solves is not automatically a hard task. The same zero pass rate can come from a real capability gap, but it can also come from missing context, a broken reference solution, infrastructure failure, or a verifier that can be bypassed. In this paper, we study this issue using a frozen Terminal-Bench 3 / Frontier-Bench 0.1 production record with 1,081 pull requests, 639 scored tasks, 28,801 trials, and $105,933 in logged agent spend. We ask what an all-fail task actually certifies. For the 125 tasks with no honest pass, we combine task artifacts, reference-solution runs, empty-solution controls, adversarial trials, trajectories, telemetry, and review records, and apply an ordered validity screen. Only 78 of the 125 tasks survive as certified-unsolved candidates. The remaining tasks include 14 with broken oracles, 8 dominated by infrastructure failures, 4 that are only passable through verifier bypasses, and 21 whose solvability is not certified by the available evidence. Thus, lack of saturation and genuine difficulty are not the same thing. The certified-unsolved label is also narrow: it means that the authored route passed, infrastructure did not dominate, no strict bypass was observed, and all evaluated agents failed. It does not prove intrinsic hardness, verifier completeness, or failure at the intended capability. We further analyze rejected submissions and passing tasks to show that pass rate alone cannot explain why a task is difficult. Overall, our results suggest that frontier benchmarks should report the evidence behind their all-fail tasks before using them as capability claims.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26826v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
재귀적 자기 재작성을 통한 복합 작업을 위한 궤적 스케일링
Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite
어려운 작업에서의 성공적인 궤적(trajectory)은 모델 개선을 위한 귀중한 지도(supervision) 정보를 제공하지만, 특화된 하네스(harness)는 배포 환경에서는 사용할 수 없는 개입을 도입하기도 합니다. 본 연구에서는 단일 베이스 모델인 Qwen-3.8-27B를 사용하여 다양한 하네스 환경에서 성공적인 해결책을 탐색하고, 이를 일반 하네스 환경의 학습(training) 궤적으로 재구성하는 프레임워크인 재귀적 자기 재작성(Recursive Self-Rewrite, RSR)을 제안합니다. 플래너(planner)는 절차를 런북(runbook)으로 추출하고, 크리틱(critic)은 검증기(verifier) 및 솔루션 유출을 걸러내며 재귀적 수정을 유도하고, 실행기(executor)는 새로운 샌드박스 환경에서 적격한 런북을 따릅니다. 자체 선별한 약 3천 개의 터미널 작업 전반에서 세 가지 하네스가 공동으로 759개의 작업을 해결하여, 기록된 풀에서 가장 뛰어난 개별 하네스보다 34.3% 더 많은 작업을 해결했습니다. RSR은 지도 파인튜닝(supervised finetuning)을 위해 2,001개의 성공적인 소스 궤적을 11,094개의 재작성된 궤적으로 확장합니다. 이러한 궤적으로 학습을 진행하면 베이스 모델과 직접 궤적 SFT 모두보다 우수한 성능을 보입니다. 베이스 모델과 비교하여 pass@3은 Terminal-Bench 2에서 57.0%에서 74.2%로, Terminal-Bench 4에서 1.5%에서 9.1%로, 자체 선별한 Terminal-Bench Hard에서 39.0%에서 63.0%로, Software Terminal-Bench에서 3.0%에서 6.0%로 증가합니다. Long-Horizon Terminal-Bench에서의 과정 보상(process reward)은 0.21에서 0.29로 상승합니다. 이러한 결과는 하네스의 지원을 받은 다양한 경험이 일반 하네스 환경에서 작동하는 모델을 위한 재사용 가능한 역량으로 재구성될 수 있음을 보여줍니다.
DAYJOB: 장기적 전문 업무를 위한 벤치마크
DAYJOB: A Benchmark for Long-Horizon Professional Work
전문적인 업무는 종종 무엇이 필요한지, 어떤 문서가 중요한지, 그리고 요청의 전제가 유효한지를 전문가가 직접 파악해야 하는 간단한 요청에서 시작됩니다. 본 논문에서는 의료(50개) 및 금융(80개) 분야의 전문가들이 구축한 130개 과제로 구성된 벤치마크인 DAYJOB을 소개합니다. 이 과제들은 전문가 기준으로 의료 분야에서 평균 13.6시간, 금융 분야에서 16.6시간이 소요될 것으로 추정됩니다. 각 과제는 컨테이너화된 Harbor 환경으로 구성되며, 에이전트 기반 판정관(agentic judge)이 제출된 파일에 적용하는 이진 기준(과제당 중앙값 47.5개 및 57.5개)의 전문가 루브릭을 포함하고, 모든 기준을 충족해야만 통과로 인정됩니다. 13개 개발사의 30가지 모델 구성을 평가한 결과, 가장 우수한 성능을 보인 Claude Opus 5.5는 의료 시도의 24.7%와 금융 시도의 23.9%를 통과한 반면, 중앙값 구성은 각각 0.6%와 2.5%를 통과하는 데 그쳤습니다. 사례 연구에서 에이전트들은 기록과 모순되는 전제를 그대로 수용하거나, 잘못된 입력을 바탕으로 일관된 분석을 계속 수행하는 모습을 보였습니다. 본 연구진은 모든 의료 과제, 80개 금융 과제 중 50개, 평가 하네스(evaluation harness), 그리고 리더보드를 공개합니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
토론
이 논문과 연결된 포럼 글이 아직 없습니다.