Pass@k를 넘어서: 에이전트 코드 생성의 신뢰성과 보안 측정
Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation
한국어 초록
AI 코딩 에이전트 벤치마크는 Chen et al. (2021)의 pass@k 추정량으로 에이전트 순위를 매기지만, 현재 구현은 이를 잘못 적용한다. 단일 제출물의 단위 테스트 개수를 n으로 두는 반면, n은 독립적인 롤아웃 시도 횟수여야 하며, 테스트 스위트 크기와 시도 독립성을 혼동한다. 우리는 이 운영화 오류를 진단하고 반례로 증명한 뒤, 동일 추정량을 올바르게 적용한 reliability@k를 제안한다. 여기서 n은 독립 롤아웃 수이고, c는 (과제, 에이전트) 쌍당 완전 통과 롤아웃 수이다. 합성 다중 롤아웃 벤치마크에서 잘못 적용된 지표는 보고 점수를 절대값 기준 0.85–0.97만큼 부풀리며(보고 0.96–0.98 대 보정 0.00–0.12), 값싼 단일 롤아웃 대리 지표는 반복 실행을 대체하지 못한다(Spearman ρ= 0.417). 기능적 정확성이 보안상 안전(safety)을 함의하지 않는다는 증거에 기인하여, 우리는 추가로 security-adjusted reliability@k를 제안한다. 이는 기능적으로 올바르면서 고심각도 비안전 패턴이 없는 롤아웃만 집계한다. 세 에이전트에 대한 초기 live-API 테스트에서, 현재 스캐너와 임계값 하에서는 이 조정이 순위를 바꾸지 않았으므로, 우리는 이를 보완적 관점으로 제시하며, 결정적 평가는 표본력이 더 큰 후속 실험이 필요하다고 밝힌다. 마지막으로, 5개 과제 SWE-bench Verified 예비 파일럿은 실제 저장소 설정에서 동일한 핵심 우려를 관찰한다. 매크로 평균 hidden-test 통과율은 0.80이었고 엄격한 과제 해결률은 0.20이었다.
원문 초록
AI coding agent benchmarks rank agents with the Chen et al. (2021) pass@k estimator, but current implementations misapply it: they set n to the number of unit tests in a single submission rather than the number of independent rollout attempts, conflating test-suite size with attempt independence. We diagnose this operationalization error, prove it by counterexample, and propose reliability@k, the same estimator applied correctly, with n = independent rollouts and c = fully-passing rollouts per (task, agent) pair. In a synthetic multi-rollout benchmark, the misapplied metric inflates reported scores by 0.85-0.97 in absolute terms (0.96-0.98 reported vs. 0.00-0.12 corrected), and a cheap single-rollout proxy fails to substitute for repeated runs (Spearman $ρ= 0.417$). Motivated by evidence that functional correctness does not imply security safety, we additionally propose security-adjusted reliability@k, which counts only rollouts that are both functionally correct and free of high-severity insecure patterns. In an initial live-API test with three agents, the adjustment did not change any ranking under our current scanner and threshold, so we present it as a proposed complementary lens whose decisive evaluation requires better-powered future runs. Finally, a preliminary 5-task SWE-bench Verified pilot observes the same core concern in a real repository setting: macro-averaged hidden-test pass rate was 0.80 while strict task resolution was 0.20.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.14711v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.