Scrouting: 저장소를 먼저 탐색하여 수행하는 코딩 에이전트의 비용 인식 라우팅
Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First
한국어 초록
최첨단 프론티어(frontier) 언어 모델은 저장소(repository) 수준의 소프트웨어 이슈를 해결할 수 있지만, 시도할 때마다 비용이 많이 들며 기존 라우터는 이슈 텍스트만으로 모델을 선택합니다. 본 논문에서는 저장소를 먼저 탐색(scouting)한 후 라우팅을 수행하는 SuperScout을 제안합니다. 7B 탐색 모델인 SuperScout-7B가 먼저 저장소를 탐색하고 재현 주장이 샌드박스에서 검증된 구조화된 인수인계(handoff) 정보를 생성하며, 거짓 주장은 전달되기 전에 제거됩니다. 이어 탐색 모델의 은닉 상태(hidden states)는 작업 텍스트와 함께 이력서 기반 라우터로 전달되어 4개의 최첨단 해결 모델(fixer) 중 하나로 작업을 디스패치합니다. 새로운 해결 모델을 추가할 때 재학습이 필요하지 않습니다. 공식 상한 예산 티어 하의 SWE-bench Pro 전체 Python 슬라이스(266개 작업)에서, SuperScout은 최고 성능의 단일 모델 해결률(SuperScout 266개 중 159개, 최고 모델 158개)과 일치하면서도 해결당 총비용은 약 5분의 1 수준으로 절감하며, 보고된 구성은 무작위 트래픽 분할 기준선(baseline)을 상회합니다. 라우터 없이 항상 인수인계 정보를 갖춘 가장 저렴한 해결 모델을 사용하는 어블레이션(ablation)은 이 벤치마크에서 라우팅된 시스템과 동등한 성능을 기록하므로, 라우팅 결정보다는 인수인계 정보 자체가 결과를 견인합니다. 쌍체 보정(paired calibration) 연구는 그 메커니즘을 시사합니다. 인수인계 정보는 해결 능력을 추가하기보다는 재분배하는 것으로 보이며, 가장 강력한 해결 모델에는 약간의 손해를 입히는 반면 더 저렴한 3개 해결 모델의 성능은 끌어올립니다(단, $N=99$에서 해결 모델별 효과는 방향성만 나타냄). 또한 탐색 모델의 은닉 상태는 보정 레이블에서 비용 라우팅을 개선하지만 인수인계 정보 자체의 텍스트는 그렇지 못합니다. 탐색 모델의 계산 비용은 작업당 0.5센트 미만의 GPU 시간만을 추가합니다.
원문 초록
Frontier language models can resolve repository-level software issues, but each attempt is expensive, and existing routers select a model from the issue text alone. We present SuperScout, which routes after scouting the repository: a 7B searcher, SuperScout-7B, first explores the repository and produces a structured handoff whose reproduction claims are sandbox-verified, with false claims stripped before delivery. The searcher's hidden states, together with the task text, then feed a resume-based router that dispatches the task to one of four frontier fixers. Adding a new fixer requires no retraining. On the full Python slice of SWE-bench Pro (266 tasks) under the benchmark's official capped budget tier, SuperScout matches the best single model's solve rate (159 of 266 for SuperScout, 158 for the best model) at about a fifth of the total cost per solve, and the reported configuration sits above the random traffic-splitting baseline. A no-router ablation, always the cheapest fixer with the handoff, ties the routed system on this benchmark, so the handoff rather than the routing decision carries the result. A paired calibration study points to the mechanism: the handoff appears to redistribute rather than add solving ability, lifting the three cheaper fixers while slightly hurting the strongest, though at $N=99$ the per-fixer effects are directional only; the searcher's hidden states improve cost routing on the calibration labels while the handoff's own text does not. The searcher's compute adds less than half a cent of GPU time per task.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.04804v2제출 시각 미확인
- arXiv:2608.04804v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.