끝났는데도 계속 작업한다: 코딩 에이전트가 멈출 시점을 찾는 중간 단계 평가
Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop
한국어 초록
코딩 에이전트는 자체 테스트를 통과한 뒤에도 작업을 계속하는 경우가 많다. 추가 작업이 패치를 개선하는가? 더 일찍 멈추면 비용을 얼마나 줄일 수 있는가? 기록한 실행을 재생하고, 숨겨진 테스트로 중간 패치를 평가하며, 단계별 비용을 측정하는 중간 단계 평가로 이 질문을 조사했다. 실행을 멈추거나 이전 패치를 선택하기만 하는 정책은, 재생 중에 관련 상태가 보존된다면 새 실행 궤적을 생성하지 않고도 같은 실행을 짝지어 비교할 수 있다. SWE-bench Verified에서 공개 모델 8개와 실행 환경 2개로 약 6,000회 실행한 결과, 작업을 계속했을 때의 이점은 모델과 실행 환경에 따라 크게 달랐다. 자체 테스트 통과 시점의 데이터를 사후 분석했을 때 절감 가능한 비용은 1% 미만부터 57%까지였다. 같은 패치가 두 번 통과하면 멈추는 규칙은 사전 등록한 재현 실험에서 비용을 23% 줄였다. 다만 사전 등록한 품질 검정에서는 비열등성을 입증하지 못했다. 규칙이 발동한 빈도, 이후 패치가 바뀐 빈도, 그 변경이 문제를 고쳤는지 새 문제를 일으켰는지를 측정해 차이를 설명했다. 에이전트가 규칙을 모방하도록 미세조정하면 시드 여섯 개에서 비용을 30% 줄였으나, 품질이 유지되는지는 여전히 불확실했다. 이 결과는 조기 종료의 이점과 위험을 파악하는 데 도움이 된다.
원문 초록
Coding agents often continue working after their own tests pass. Does this additional work improve the patch, and how much could be saved by stopping earlier? We study these questions through anytime evaluation: replaying recorded runs, scoring intermediate patches with hidden tests, and measuring the cost incurred at each step. For policies that only stop a run or select an earlier patch, this allows paired comparisons without generating new trajectories, provided replay preserves the relevant states. Across about 6,000 runs of eight open models in two scaffolds on SWE-bench Verified, we find substantial differences in the value of continued work. The hindsight saving available at passing self-tests ranges from under 1% to 57%, depending on the model and scaffold. A rule that stops after the same patch passes twice saves 23% in a preregistered replication, but the preregistered quality test does not establish non-inferiority. We explain these differences by measuring how often a rule fires, how often the patch changes afterwards, and whether those changes repair or break it. Fine-tuning agents to imitate the rule saves 30% over six seeds, while quality preservation remains uncertain. Our results help identify both the opportunities and the risks of early stopping.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22901v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.