PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26826v1cs.LG

무엇이 Terminal-Bench 태스크를 어렵게 만드는가? 판정된 에이전트 코퍼스에서 진정한 난이도와 가짜 난이도 분리하기

What Makes a Terminal-Bench Task Hard? Separating Genuine Hardness from Fake-Hardness on an Adjudicated Agentic Corpus

프론티어 벤치마크(frontier benchmark)에는 현재 모델들이 해결할 수 없는 태스크가 필요합니다. 그러나 어떤 모델도 해결하지 못하는 태스크라고 해서 그것이 곧바로 어려운 태스크가 되는 것은 아닙니다. 동일한 0%의 통과율이라 하더라도 실제 역량 격차에서 비롯될 수 있지만, 누락된 맥락, 오류가 있는 참조 솔루션, 인프라 장애, 혹은 우회 가능한 검증기(verifier) 때문일 수도 있습니다. 본 논문에서는 1,081개의 풀 리퀘스트(pull request), 639개의 평가 태스크, 28,801회의 시도, 그리고 기록된 에이전트 비용 105,933달러에 달하는 고정된 Terminal-Bench 3 / Frontier-Bench 0.1 프로덕션 기록을 사용하여 이 문제를 연구합니다. 우리는 전원 실패(all-fail) 태스크가 실제로 무엇을 증명하는지 질문을 던집니다. 정상적인 통과가 전혀 없는 125개 태스크를 대상으로 태스크 아티팩트, 참조 솔루션 실행, 빈 솔루션 대조군, 적대적 시도, 궤적(trajectory), 텔레메트리, 리뷰 기록을 결합하고 순차적 유효성 검사를 적용합니다. 그 결과 125개 태스크 중 단 78개만이 검증된 미해결(certified-unsolved) 후보로 남습니다. 나머지 태스크에는 오라클(oracle) 오류가 있는 14개, 인프라 장애가 지배적인 8개, 검증기 우회를 통해서만 통과 가능한 4개, 그리고 확보된 증거로는 해결 가능성이 입증되지 않는 21개가 포함됩니다. 따라서 성능 미포화(lack of saturation)와 진정한 난이도는 동일한 것이 아닙니다. 또한 '검증된 미해결'이라는 라벨의 범위는 좁습니다. 즉, 작성된 경로가 통과되었고, 인프라 장애가 주원인이 아니었으며, 명백한 우회가 관찰되지 않았고, 평가된 모든 에이전트가 실패했음을 의미할 뿐입니다. 이것이 본질적인 난이도, 검증기의 완전성, 또는 의도된 역량에서의 실패를 증명하지는 않습니다. 나아가 우리는 반려된 제출물과 통과 태스크를 분석하여 통과율만으로는 태스크가 왜 어려운지 설명할 수 없음을 보여줍니다. 종합적으로, 본 연구 결과는 프론티어 벤치마크가 전원 실패 태스크를 역량 주장의 근거로 사용하기 전에 그 배후에 있는 증거를 먼저 보고해야 함을 시사합니다.

arXiv:2606.28430v1cs.SE

Building to the Test: Coding Agents Deliver What You Check, Not What You Requested

Benchmarks are widely used to evaluate task completion by Large Language Models (LLMs), but this approach has accumulated construction-validity problems, and a passing score may not show whether the requested task was delivered. We study both problems. In a controlled code-as-spec setup, two production Copilot CLI agents (claude-opus-4.7, gpt-5.5) re-implement a React Fluent-UI data table in Angular as a reusable library under a hidden 222-test Playwright oracle across 18 runs and three oracle-availability conditions. Alongside the score, we run a mechanical library audit and check each verdict with a no-op ablation. Without the oracle, the library is present but unfinished, revealed by scores. With the oracle in the loop, the score reaches near-perfect, but from a demo holding the tested behavior directly, the library left dead or absent. We call this building to the test; the broader disposition behind both we call validation self-awareness. The agent does not, on its own, validate what it ships as a user would. Prevalence remains an open question across other agents, signals, and model families. Beyond benchmark scores, dispositions like validation self-awareness merit research attention.