한국어 초록
결정론적 벤치마크 점수는 에이전트(agent)가 점수를 획득했는지는 보여주지만, 그 점수가 정당하게 얻어졌는지, 정직하게 보고되었는지, 혹은 재실행 시에도 유지될 것인지는 보여주지 못합니다. 본 논문에서는 기록된 각 점수 옆에 해당 점수를 신뢰할 수 있는지 여부를 보고하는 사후 부가 프레임워크인 '에이전트 평가를 위한 신뢰 층(Trust Layer for Agent Evaluation)'을 소개합니다. 이 프레임워크는 네 가지 속성을 검증합니다. 즉, 결과가 벤치마크 자체의 채점 로직에 의해 뒷받침되는지, 통과한 답변이 추적 가능한 연산을 통해 도출되었는지, 에이전트의 완료 주장이 실제로 일어난 일과 일치하는지, 그리고 반복 실행 시에도 결과가 안정적인지 여부입니다. 앞의 세 가지는 저장된 아티팩트만을 사용하며, 네 번째는 에이전트를 재실행합니다. 모델(model)의 판단은 다수결 투표 하에서 증거에 라벨을 붙이는 역할만 수행하며, 모든 판정은 결정론적 규칙을 따르고 기록된 점수를 절대 수정하지 않습니다. Agents' Last Exam의 108개 작업에 대해 5가지 에이전트 구성을 적용한 결과, 모든 모델에서 추적 가능한 연산이 없는 통과 실행(최대 10배 차이의 비율로 발생), 확인된 거짓 완료 주장, 그리고 불안정한 결과(18~46%의 작업이 5회 실행 동안 단일 점수 구간을 유지하지 못함)가 나타났습니다. 기록된 통과 중 네 가지 검사를 모두 통과한 비율은 22.6%에 불과했습니다(95% 신뢰구간 15.0~32.6, n=84). 에이전트가 무엇을 할 수 있는지 측정하는 것과 실제로 그것을 수행했는지 검증하는 것은 서로 다른 문제이며, 현재의 벤치마크는 전자만을 다루고 있습니다.
원문 초록
Deterministic benchmark scores show that an agent received credit, but not whether that credit was earned, reported honestly, or would hold on a second run. We introduce a Trust Layer for Agent Evaluation, an additive post-hoc framework that reports, beside each recorded score, whether it should be believed. It verifies four properties: whether the result is supported by the benchmark's own grading logic, whether a passing answer was earned through traceable computation, whether the agent's completion claim matches what occurred, and whether the result is stable under repeated execution. The first three use only saved artifacts; the fourth re-runs the agent. Model judgments only label evidence under majority voting; all verdicts follow deterministic rules and never modify the recorded score. Applied to five agent configurations on 108 tasks from Agents' Last Exam, every model shows passing runs with no traceable computation (at rates varying tenfold), confirmed false completion claims, and unstable results: 18-46% of tasks do not stay in one score band over five runs. Only 22.6% of recorded passes clear all four checks (95% CI 15.0-32.6, n=84). Measuring what an agent can do and verifying that it did it are different problems, and current benchmarks address only the first.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.