arXiv:2609.32495v2 cs.CR

전언(Hearsay): 배포된 에이전트 하네스가 작성한 기록을 누가 감사할 수 있는가?

Hearsay: Who Can Audit the Record a Deployed Agent Harness Writes?

Jiahong Dai, Zhuochen Yang, Pengyang Shao, Kelvin Ng, Zhongyi Liu, Chengquan Ju, Yuting He, Bo Hu

제출 2026-11-19

한국어 초록

에이전트의 실행 기록은 그 에이전트를 구동하는 하네스가 작성한다. 실행 이후 분쟁이 발생하면 감사자는 현장에 없었으므로 이 기록만을 가지고 판단해야 한다. 본 연구는 현장에 없었던 사람이 그 기록을 검증할 수 있는지, 그리고 그 답을 결정하는 요인이 무엇인지를 묻는다. 답은 검증이 신뢰할 수 있는 내용을 누가 작성했는가에 달려 있다. 하네스가 기록 전체를 작성했다면 그 기록은 하네스 자신의 진술에 불과하며, 우리는 이를 전언(hearsay)이라 부른다. 우리는 과제가 아니라 기록 자체를 검토하는 벤치마크인 Hearsay를 구축한다. 다섯 개의 하네스가 열네 개의 과제를 수행하고, 세 곳의 벤더가 제공한 모델 검토자와 사람 패널이 기록을 읽고 실행에 관한 질문에 답하며, 이들이 인용한 모든 구절에는 누가 작성했는지가 기계적으로 표시된다. 또한 실제 배포된 환경을 감사한 결과, 열여섯 개 프레임워크 모두에서 하네스가 유일한 작성자였다. 작성자가 하나뿐이면 독자는 최대 열 번 중 아홉 번까지 기록으로부터 결함을 짚어낼 수 있으나 기록을 검증할 수는 없다. 모델 검토자들은 자신이 제시한 근거 중 라벨이 뒷받침하는 수준보다 18~55%p 더 많은 부분이 교차 확인되었다고 주장하는데, 이 격차는 다른 벤더의 모델이 구동한 실행에 대해 예측되었고 실제로 다시 확인되었다. 또한 가장 우수한 검토자도 우리가 기록에 가한 변경 가운데 절반만 알아차리며, 결함을 가장 자주 짚어내는 두 검토자는 하네스가 누락한 내용을 구별하지 못한다. 작성자가 둘이면 기록을 검증할 수 있다. 우리의 샌드박스는 하네스와 모델 사이에 오가는 내용의 원장(ledger)을 보관하며, 원장을 기록과 양방향으로 대조하면 기록이 누락한 내용과 추가한 내용이 드러난다. 우리는 이를 감사자가 사용하는 방식대로, 한 번에 하나의 미공개 기록에 대해 시험한다. 기록이 만들어지기 전에 모든 규칙을 확정한 상태에서 세 번째 벤더의 모델이 구동한 실행에 적용했을 때, 66건의 변경 중 64건을 보고했고 84건의 정상 기록 가운데 어느 것도 오탐으로 표시하지 않았다. 다섯 가지 형식의 보류(held-out) 기록에서는 115건 중 109건을 보고했다. 기록을 증거로 만드는 것은 더 나은 독자가 아니라 두 번째 작성자이다.

원문 초록

The record of an agent's run is written by the harness that drives the agent. When the run is later disputed, the auditor was not there and has only this record. We ask whether someone who was not there can check the record, and what decides the answer. It depends on who wrote what a check can rely on: if the harness wrote all of it, the record is only the harness's own word, and we call it hearsay. We build Hearsay, a benchmark that examines the record and not the task: five harnesses run fourteen tasks, model examiners from three vendors and a human panel read the records and answer questions about the runs, and every passage they cite is labelled mechanically by who wrote it. We also audit what is deployed: in all sixteen frameworks, the harness is the only writer. With one writer, readers can name the fault from the record, in up to nine runs in ten, but they cannot check the record. The model examiners claim corroboration for 18 to 55 points more of their evidence than the labels support, a gap we then predicted for runs driven by another vendor's model and found again. And the best of them notices only half of the alterations we make to a record, while the two that name the fault most often cannot tell what a harness left out. With a second writer, the record can be checked. Our sandbox keeps a ledger of what passes between harness and model, and reading the ledger against the record in both directions shows what the record leaves out and what it adds. We test this as an auditor would use it, on one unseen record at a time. On runs driven by a third vendor's model, with every rule committed before the records existed, it reports 64 of 66 alterations and flags none of 84 clean records. On held-out records in five formats it reports 109 of 115. What makes a record evidence is a second writer, not a better reader.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.32495v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.