PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38269v2cs.SE

Zero2Repo: 코딩 에이전트는 처음부터 저장소를 구축할 수 있는가?

Zero2Repo: Can Coding Agents Build Repositories from Scratch?

코딩 에이전트(agent)는 기존 소프트웨어를 패치하는 것을 넘어 직접 구축하도록 요구받는 경우가 점점 늘고 있으나, 처음부터(from-scratch) 저장소를 구축하는 능력을 측정하는 벤치마크는 대부분 단일 언어로 제한되어 있으며 수작업으로 큐레이션된 작업에 의존합니다. 본 논문에서는 에이전트가 제품 요구사항 정의서(PRD), 인터페이스 명세서, 빈 작업 공간을 전달받아 프로젝트의 네이티브 생태계에 맞는 완전한 저장소를 제공해야 하는 벤치마크인 Zero2Repo를 소개합니다. 작업들은 실제 버전이 고정된 오픈소스 프로젝트를 동작 사양, 재현 가능한 환경, 그리고 숨겨진 인수 테스트로 변환하는 언어 무관 저작 파이프라인을 통해 생성됩니다. 각 작업은 실행을 통해 검증(validation)됩니다. 즉, 업스트림 프로젝트에서 파생된 참조 구현이 테스트를 통과해야 하며, 적대적 검증을 통해 테스트가 잘못된 구현을 거부함을 입증해야 합니다. 평가는 격리된 컨테이너에서 프로덕션 코딩 에이전트를 실행하고, 명시적인 제출 전까지 인수 테스트를 비공개로 유지하며, LLM 판정 없이 모든 테스트를 통과했을 때만 이진 보상(reward)을 부여합니다. 이 파이프라인과 하네스는 특정 언어에 국한된 가정을 두지 않아 주류 프로그래밍 생태계 전반에 적용 가능하며, 현재 릴리스에는 Python, TypeScript, Go, C++ 작업이 포함되어 있습니다. 프론티어 모델들이 학습(training) 중에 보았을 가능성이 매우 높은 저장소에서 추출한 11개 작업에서도 가장 뛰어난 에이전트조차 10개만 해결했으며, 실패한 모든 제출물은 숨겨진 테스트의 90~99%를 통과했습니다. 또한 상위 2개 에이전트의 경우 실패한 테스트의 67~100%가 하위 시스템 누락이 아닌 사양에 명시된 단일 누락이나 발생 빈도가 낮은 규칙에서 비롯되었으므로, 각 실패는 구체적인 개선 목표가 됩니다.