arXiv:2609.01992v1 cs.AI

ClaimReceipt: 에이전트 평가에서 증거 충분성과 커버리지 검증

ClaimReceipt: Verifying Evidence Sufficiency and Coverage in Agent Evaluations

Peiying Zhu, Sidi Chang

제출 2026-09-02

한국어 초록

에이전트 평가는 서로 다른 두 가지 증거 질문에 직면한다. 보고된 claim이 보존된 증거로부터 재계산 가능한지(충분성), 그리고 보존된 기록이 확정(commit)된 실험 집합을 포괄하는지(커버리지)이다. 일반 로그와 해시 연결 transcript는 어느 쪽도 신뢰할 만하게 답하지 못한다. 본 논문은 ClaimReceipt를 제안한다. 이는 claim-상대적 receipt 명세와 선택적 verifier로, 유형화된 transaction 증거를 서명된 실험 manifest에 결합(bind)하고 claim마다 PASS, INVALID, INCONCLUSIVE를 반환한다. 구현 전에 명세를 동결하였다(SHA-256 18d109...b81). 1,392건의 과거 buyer–seller 기록에서 CR-2 verifier는 수동 라벨링된 5개 감사 판정을 모두 재현하고, deterministic 600건과 post-generation 792건을 정확히 재현(replay)하며, 선언된 13개 field group 전부를 시험된 ablation 하에서 비중복(non-redundant)으로 만들고, semantic fault 11/11에서 기대 결과를 반환하며 false positive는 0/8이다. 이어 별도의 전향적 CR-3 에포크를 수행한다. 30개 assignment는 추론 전에 확정되고, terminal receipt는 서명·체인 연결되며, private 증거는 auditor를 위해 � encryption된다. 완전한 증거는 coverage와 accounting PASS를 산출한다. terminal receipt 하나를 withhold하면 INCONCLUSIVE_COVERAGE가 반환되고, 모든 private opening을 withhold하면 coverage와 protocol 검증은 유지되나 경제적 claim은 inconclusive가 되어, 사전 등록(preregistered) 예측과 정확히 일치한다. Receipt instrumentation은 모델 추론 시간의 0.021%와 transaction당 9.9 KB를 추가한다. specification-legibility probe는 우리의 동결된 명세가 아직 독립 독자에게 명확(unambiguous)하지 않음을 시사한다. 따라서 claim 검증에는 claim에 충분한 증거와, 누락이 드러나는 확정된 universe가 모두 필요하다.

원문 초록

Agent evaluations face two distinct evidentiary questions: whether a reported claim is recomputable from retained evidence (sufficiency), and whether the retained records cover the committed experiment set (coverage). Generic logs and hash-linked transcripts answer neither reliably. We introduce ClaimReceipt, a claim-relative receipt specification and selective verifier that binds typed transaction evidence to a signed experiment manifest and returns PASS, INVALID, or INCONCLUSIVE per claim. We freeze the specification before implementation (SHA-256 18d109...b81). On 1,392 historical buyer--seller records, a CR-2 verifier reproduces all five manually labeled audit verdicts, exactly replays 600 deterministic and 792 post-generation records, makes every one of 13 declared field groups non-redundant under tested ablations, and returns the expected result on 11/11 semantic faults with 0/8 false positives. We then run a separate prospective CR-3 epoch: 30 assignments are committed before inference, terminal receipts are signed and chained, and private evidence is encrypted for an auditor. Complete evidence yields coverage and accounting PASS; withholding one terminal receipt returns INCONCLUSIVE_COVERAGE, while withholding all private openings preserves coverage and protocol verification but makes economic claims inconclusive, exactly matching a preregistered prediction. Receipt instrumentation adds 0.021% of model-inference time and 9.9 KB per transaction. A specification-legibility probe indicates that our own frozen specification is not yet unambiguous to an independent reader. Claim verification therefore requires both claim-sufficient evidence and a committed universe against which omissions become visible.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.01992v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.