코딩 에이전트의 실행 없는 평가를 위한 저장소 기반 루브릭
Repository-Grounded Rubrics for Execution-Free Evaluation of Coding Agents
한국어 초록
코딩 에이전트는 보통 과제별 테스트를 실행하여 평가되지만, 테스트가 없거나 불완전할 수 있으며 이를 실행하려면 각 저장소마다 동작하는 환경이 필요하다. 우리는 후보 패치 중에서 선택하기 위해 도입된 에이전트 루브릭을, 패치가 과제의 요구사항을 얼마나 충족하는지에 대한 실행 없는 측정으로 변형한다. 에이전트가 변경 이전의 저장소를 탐색하여 가중치가 부여된 이진 기준을 작성하고, 도구가 없는 심사자가 diff가 충족하는 기준의 가중 비율로 점수를 매긴다. 우리는 이 점수가 만들어 내는 순서를 SWE-bench Verified에서 15개 시스템의 레이블링된 패치 7,291개를 사용하여 테스트 결과와 대조해 검증한다. 해결된 패치와 해결되지 않은 패치가 모두 존재하는 400개 과제 내에서 과제별 평균 AUROC는 0.826(루브릭 생성 프롬프트 조정에 사용되지 않은 과제에서는 0.838)이며, 실패한 패치를 기준으로 시스템의 순위를 매기는 것은 해결률로 순위를 매기는 것과 거의 일치한다(스피어만 0.968). 사례 분석은 불일치의 원인을 과제와 맞지 않는 테스트, 텍스트 평가가 놓치는 실행 차단 결함, 그리고 기준 또는 판정의 오류로 추적한다. 이 검증은 절대적인 점수 크기나 테스트와의 일치를 넘어서는 요구사항 충족을 입증하지는 않지만, 테스트나 실행 환경을 가정할 수 없는 경우 루브릭 점수가 테스트를 보완할 수 있다.
원문 초록
Coding agents are usually evaluated by running task-specific tests, but tests may be missing or incomplete, and running them requires a working environment for each repository. We adapt agentic rubrics, introduced for selecting among candidate patches, into an execution-free measure of how far a patch satisfies a task's requirements. An agent explores the repository before the change and writes weighted binary criteria, and a judge without tools scores a diff by the weighted share of criteria it satisfies. We validate the ordering this score produces against test outcomes on SWE-bench Verified, using 7,291 labeled patches from fifteen systems. Within the 400 tasks that have both resolved and unresolved patches, the mean per-task AUROC is 0.826 (0.838 on tasks not used to tune the rubric-generation prompt), and ranking systems by their failing patches closely agrees with ranking them by resolve rate (Spearman 0.968). Case analyses trace disagreements to tests that do not match the task, execution-blocking defects that the textual assessment misses, and errors in criteria or verdicts. The validation does not establish absolute score magnitudes or requirement satisfaction beyond agreement with tests, but rubric scores could complement tests where tests or execution environments cannot be assumed.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23309v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.