PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01211v1cs.SE

Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?

GSO, SWE-Perf, SWE-fficiency 등 코드 에이전트의 성능 최적화 능력을 평가하는 리포지토리 수준 벤치마크들이 실제로 신뢰할 수 있는 측정 도구인지 감사한 연구로, 740개 태스크를 4종 Google Cloud 머신에서 재실행한 결과 참조 패치의 교차 머신 유효성이 현저히 낮고(GSO 39/102, SWE-Perf 11/140), 채점 규칙에 따라 리더보드 순위가 크게 달라짐을 밝혔다. 또한 공개된 10개 제출물 기준으로 재실행 유효 태스크의 85.3%는 이미 적어도 하나의 제출물이 참조 패치 수준에 도달해 있어, 집계 순위만으로는 에이전트의 실질적 진보를 정확히 파악할 수 없음을 보인다.