소프트웨어 위임 계약: AI 코딩 에이전트 작업에서의 검토 가능성 측정
Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work
AI 코딩 에이전트는 점점 더 배정된 소프트웨어 작업을 수락하고, 제한된 권한 하에서 저장소를 수정하며, 검토를 위해 작업 패키지를 반환한다. 선행 연구는 작업, 권한, 반환된 작업 패키지, 수락 맥락을 포괄하는 소프트웨어 위임 계약을 위임된 코딩 작업의 분석 단위로 제안했지만, 그 효과를 측정하지는 않았다. 본 논문은 코딩 에이전트를 위한 명시적 위임 계약에 대한 통제된 파일럿 연구를 보고한다. 우리는 시드된 결함과 문서화 공백을 포함한 의존성 없는 TypeScript API 작업 환경을 구축하고, 다섯 가지 패밀리에 걸쳐 열 개의 작업을 작성했으며, 두 모델 티어에서 64회의 에이전트 실행을 세 가지 조건—현실적인 이슈 스타일 프롬프트, 명시적 위임 계약, 필수 증거 번들을 요구하는 계약—하에 수행했다. 각 실행은 숨겨진 수락 테스트, 변이 검사, 범위 분석으로 채점한 후, 고정된 루브릭을 사용하는 세 명의 독립적 조건-블라인드 모델 기반 검토자에 의해 검토되어 총 192건의 리뷰가 이루어졌다. 명시적 계약은 객관적 작업 결과를 개선하지 않았다: 64회 실행 모두 숨겨진 수락 검사를 통과했으며, 범위 위반은 0건이었다. 그러나 검토 가능성은 개선되었다. 증거 충분성은 30건의 쌍 비교 중 22건에서 개선되었고 악화된 경우는 없었다(5점 척도에서 +0.83, p < 0.0001, Cliff's delta = 0.66); 검토자 모호성은 감소했다(p = 0.035); 변경 파일 목록, 알려진 한계 섹션, 잔여 위험 섹션, 검토자 체크리스트는 대부분 또는 전적으로 계약이 요구할 때만 나타났다. 계약은 에이전트 토큰 +13%, 경과 시간 +38%의 비용을 수반했으며, 더 약한 모델 티어에서 효과가 더 컸다. 이러한 소규모 작업에서는 위임 계약이 정확성보다는 검토 가능성을 확보했다.