stanford.edudepartment

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.10961v1cs.SE

코딩 에이전트를 위한 런타임 계약으로서의 교차 제공자 검토: 통제된 파일럿 및 결함 주입 연구

Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study

코딩 에이전트(coding agent)들은 서로 다른 제공자와 구독 한도를 활용하면서 단일 워크스테이션을 공유하는 경우가 점점 늘고 있습니다. 제2의 에이전트가 완성된 답변을 점검할 수 있지만, 이러한 호출은 또 다른 리소스 풀을 소모하며 실질적인 발견점을 제시하지 못할 수도 있습니다. 본 연구에서는 별도의 리소스 풀, 제한된 실행, 제한된 검토자 권한, 완전한 입력 전달, 사용 가능한 의미적 출력, 명시적인 실패 상태, 시도별 영구적 증거를 갖춘 자문용 교차 제공자(cross-provider) 검토 계약을 설명합니다. 20회의 쌍을 이룬 개발 턴으로 구성된 통제된 에이전트 작성 파일럿에서, 8회에서 실질적인 검토자 발견점이 나타났습니다(95% 정확 구간 19.1-63.9%). 두 검토자 백엔드에 걸친 경계 조건 스캔은 부분 입력에 대해 이전에 발견되었던 허위 성공을 재현했습니다. 4가지 절단(truncation) 수준이 과거에는 통과했으나 수정 후에는 실패했습니다. 또한 이 스캔을 통해 프로세스 회수(process reaping) 중 취소 문제를 발견하고 수정했습니다. 실제 CLI 프로브에서 Claude는 쓰기 도구가 없었던 반면, Codex는 5회의 읽기 전용 시험 중 5회 모두 쓰기를 시도했으나 각 쓰기 도구 호출은 실패했고 일회용 저장소는 변경되지 않았습니다. 이러한 테스트는 지정된 경로와 버전을 다루며 현장 신뢰성을 보장하지는 않습니다. 메타데이터 전용 검토 할당에 대한 사전 등록된 섀도우 연구는 정확한 런타임 회귀 테스트에서 세 번째 결함(0이 아닌 종료 코드로 종료된 검토자가 잘 구성된 판정 결과를 냈을 때 완료된 것으로 집계되는 문제)이 발견되기 전까지 25개의 공식 관측치를 축적했습니다. 시도별로 종료 상태가 기록되지 않아 노출 여부를 소급하여 해결할 수 없었습니다. 25개의 공식 기록과 2개의 보류 기록은 감사 코호트로 유지되며, 측정 유효 코호트는 0에서 다시 시작하여 수집이 진행 중입니다. 게이트 결과는 보고되지 않습니다.