arXiv:2611.23250v1 cs.SE

자동 감사의 한계를 좌우하는 요인: 일반 코드에서 과학 코드, 결과 및 데이터까지

What Moves the Ceiling on Automated Audit: from General Code to Scientific Code, Results and Data

Zhaohe Dong

제출 2026-11-19

한국어 초록

모델이 다른 모델이 작성한 것을 점검하는 일이 점점 늘고 있다. 본 연구는 실제 배포된 하나의 구성, 즉 다른 벤더의 감사자가 작업물을 읽고 결정론적 검사가 코드로 검증 가능한 것을 확인하는 구성을 연구하며, 어떤 모델도 제공하지 않는 정답 기준에 대해 그 한계를 측정한다. 숨겨진 테스트가 있는 범용 코드에서 감사자의 여덟 번의 판독은 재현율 30.0% [20.0, 40.7]에 도달하며 올바른 코드에 대한 오탐 플래그 비율은 16.0% [10.1, 22.3]이고, 수확 체감이 나타나며 정체 구간은 없다. 판독 모델(샘플링과 교란됨), 규칙집 한 문장, 그리고 결정 규칙은 각각 이 수치를 변화시키며, 놓친 것의 상당 부분은 사후 평가에서 명세가 결정하지 않은 동작으로 나타난다. 사전 등록된 세 가지 과학 연구에서, 보고된 수치가 출처로 추적되는지를 점검한 결과 불일치하는 보고 49건 전부를 플래그했고 일관된 조작 25건에는 하나도 플래그하지 않았으며, 이 중 모델 감사자는 23건을 플래그했다(사후 분석에서 21건은 타당한 지적이었다). 데이터에서는 문서에서 도출한 검증기와 감사자가 서로 겹치지만 다른 결함 항목을 플래그하여, 깨끗한 데이터에 대한 플래그 비율 2.9% [0.7, 5.7]에서 합쳐서 140건 중 112건을 찾아냈다. 과학 코드에서는 작업을 한 단계 중심으로 재구성하자 올바른 코드에 대한 플래그가 68.7%에서 36.0%로 줄었다. 두 계층이 모두 실행된 경우, 결정론적 계층은 깨끗한 항목을 하나도 플래그하지 않았으나 일관된 오류는 볼 수 없었고, 모델은 일부를 보았으나 스스로도 오류를 범했다. 모델 호출을 수반한 연구는 사전 등록되었고, 등록되지 않은 두 분석은 명시하였으며, 인용된 모든 보고는 독립적인 벤더 간 교차 검토를 통과하였다.

원문 초록

Models increasingly check what other models write. We study one shipped arrangement, in which an auditor from a different vendor reads the work and deterministic checks verify what code can verify, and measure its limits against ground truth no model supplies. On general-purpose code with hidden tests, eight readings of the auditor reach 30.0% recall [20.0, 40.7] at 16.0% [10.1, 22.3] flags on correct code, with diminishing returns and no plateau. The reading model (confounded with its sampling), one rulebook sentence and the decision rule each move that figure, and much of what is missed is, on a post hoc rating, behaviour the specification never determined. In three preregistered science studies, checking that reported numbers trace to their sources flagged all 49 inconsistent reports and none of 25 consistent fabrications, of which the model auditor flagged 23 (21 with a sound finding, post hoc); on data, a documentation-derived validator and the auditor flagged overlapping but different faulty items, together 112 of 140 at a 2.9% [0.7, 5.7] flag rate on clean data; and on scientific code, reframing the task around one step cut flags on correct code from 68.7% to 36.0%. Where both tiers ran, the deterministic one flagged no clean item and could not see consistent error; the model saw some and erred itself. Studies making model calls were preregistered, the two unregistered analyses are named, and every quoted report passed independent cross-vendor review.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23250v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.