벤치마크 점수가 높은 코딩 모델도 더 많은 일을 끝내지는 못했다
Higher-Scoring Coding Models Did Not Get More Work Done
한국어 초록
새 코딩 모델은 코딩 벤치마크 점수의 향상을 내세운다. 그러나 벤치마크에서 더 높은 점수를 받은 모델이 실제로 작업을 더 많이 끝내는지 검증한 연구는 없었다. 2026년 6월 12일 미국의 수출 통제 지침에 따라 Claude Fable 5에 대한 접근이 19일간 금지되어 사용자는 다른 모델로 전환해야 했다. 이 기간에 기존 Fable 5 사용자 대부분은 Opus 4.8로 전환했다. Opus 4.8의 SWE-Bench Pro 점수는 Fable 5보다 11점 낮았다. 사용자와 프로젝트는 같고 모델만 바뀐 이 중단 기간을 자연실험으로 삼아, Fable 5가 사용자 생산성에 미친 영향을 분리해 추정했다. 중단 전후 및 중단 기간에 Fable 5 사용자 297명의 GitHub 풀 리퀘스트를 추적했다. 계속 Opus 4.8을 사용한 개발자 8,908명을 대조군으로 삼았다. 2026년 중단 전후에 있었던 모델 업그레이드 5건에 대해서도 비교를 반복했다. 이 분석에는 개발자 1,208명과 풀 리퀘스트 15,442건이 포함됐다. 개발자와 날짜 고정효과를 넣은 이중차분 모형을 적합한 결과, Fable 5를 사용할 때 풀 리퀘스트의 7일 이내 병합률은 1.4%포인트 높았으나 통계적으로 유의하지 않았다(구간 −1.4~+4.3%포인트). 업그레이드 후에도 병합률이 유의하게 늘지 않았다(가중평균 −0.9%포인트, 구간 −1.9~+0.2%포인트). 업그레이드 5건의 추정치는 모두 음수였으며, 95% 구간은 모두 0을 포함했고 추정치 간 차이도 없었다. 주간 병합 풀 리퀘스트 수 역시 유의하게 늘지 않았다(+2.4%, 구간 −4.9~+10.2%).
원문 초록
New coding models advertise themselves on score improvements of coding benchmarks. Yet no study has tested if a model that scores higher on these benchmarks gets more real work done. On June 12, 2026, a U.S. export control directive banned access to Claude Fable 5 for 19 days, which forced users to switch to other models. During this time, most former Fable 5 users switched to Opus 4.8 (11 points lower on SWE-Bench Pro compared to Fable 5). We treat this suspension as a natural experiment, where the people and projects stayed the same and only the model changed, so we could isolate the effect of Fable 5 on user productivity. We tracked GitHub pull requests of 297 Fable 5 users before, during, and after the suspension. We used 8,908 developers who stayed on Opus 4.8 all the time as the control group. We also repeated the comparison across five model upgrades before and after the suspension in 2026 (1,208 developers, 15,442 pull requests). Fitting a difference-in-differences model with developer and date fixed effects, we found that having access to Fable 5 increased the 7-day merge rate of pull requests by only 1.4 percentage points [-1.4; +4.3], which was not statistically significant. Similarly, no significant increases of merge rates were found with the upgrades (weighted mean: -0.9 percentage points [-1.9; +0.2]); all five estimates were negative (95% intervals included 0, did not differ from each other). We also did not observe a significant increase in the number of pull requests merged per week (+2.4% [-4.9%; +10.2%]).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23216v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.