한국어 초록
코딩 에이전트는 하네스, 즉 채팅 모델이 저장소에서 작업할 수 있게 해 주는 시스템 프롬프트, 도구, 컨텍스트 관리 안에 들어 있는 언어 모델이다. 이러한 에이전트에 대한 엔지니어링은 대부분 하네스에 집중되며, 벤더와 리더보드는 점수 향상을 하네스의 공으로 돌린다. 이전 연구들은 모델을 고정하고 하네스를 교체하였으나, 그 교체가 동일한 하네스를 다시 실행했을 때보다 통과율을 더 크게 변화시키는지는 측정하지 않았다. 우리는 7개 모델을 세 가지 프로덕션 하네스인 Claude Code, mini-SWE-agent, OpenCode에서 SWE-bench Verified와 다른 종류의 두 벤치마크로 실행하고, 변경 없이 재실행하였다. 모든 모델에서 일관되게 앞서는 하네스는 없다. 데이터로 두 하네스 간 차이의 범위를 한정할 수 있는 경우 그 범위는 2~5점이며, 하네스 교체가 바꾸는 과제 결과의 수는 재실행과 비슷한 정도이다. 예외는 특정 모델과 하네스 조합에서 나타나는 하네스 효과이며, 그 방향은 모델에 따라 달라진다. OpenCode는 한 모델에서는 8~9점 뒤처지고 다른 모델에서는 14점 앞선다. 하네스 간 비용 차이 역시 모델에 따라 10% 미만에서 3~4배까지 달라진다. 따라서 어떤 하네스가 더 나은지는 모델과 별개로 답할 수 없으며, 하네스 간 차이는 재실행 결과와 함께 보고되어야 한다.
원문 초록
A coding agent is a language model inside a harness: the system prompt, the tools, and the context management that let a chat model work in a repository. Most of the engineering on these agents goes into the harness, and vendors and leaderboards credit it with score gains. Earlier studies have fixed the model and swapped the harness, but have not measured whether the swap changes the pass rate more than running the same harness again. We run seven models through three production harnesses, Claude Code, mini-SWE-agent, and OpenCode, on SWE-bench Verified and two benchmarks of other kinds, and rerun them unchanged. No harness leads consistently across models. Where the data can bound the difference between two harnesses, the bound is 2 to 5 points, and a harness swap changes about as many task outcomes as a rerun. The exceptions are harness effects in particular pairings of model and harness, whose direction changes with the model: OpenCode trails by 8 to 9 points on one model and leads by 14 on another. Cost differences between harnesses also depend on the model, from under 10% to 3 to 4 times. Which harness is better therefore has no answer apart from the model, and a harness difference should be reported next to a rerun.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.04433v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.