arXiv:2608.13522v1 cs.LG

Vero: AI 에이전트는 정형 검증된 소프트웨어 저장소를 구축할 수 있는가?

Vero: Can AI Agents Build Formally Verified Software Repositories?

Zhe Ye, Hantao Lou, Yuechun Sun, Peiyang Song, Zhengxu Yan, Timothe Kasriel, Qingyang Zhang, Kaiyu Yang, Soonho Kong, Jingxuan He, Dawn Song

제출 2026-08-13

한국어 초록

AI 에이전트(agent)는 프로그래밍에 점점 더 널리 사용되고 있으나, 생성된 코드의 정확성에 대해 어떠한 보장도 제공하지 않습니다. 에이전트가 구현체와 해당 명세에 대한 기계 검증 증명(machine-checked proof)을 함께 생성하는 검증된 코드 생성(verified code generation)은 신뢰할 수 있는 AI 생성 소프트웨어를 향한 더 강력한 경로를 제공합니다. 이 방향의 기존 벤치마크들은 개별 함수에만 집중하거나, 주어진 구현체를 바탕으로 한 증명 생성만을 평가합니다. 에이전트가 실제 다중 모듈 코드베이스 전반에 걸쳐 일관된 구현 및 증명 선택을 내릴 수 있는지는 여전히 미해결 과제로 남아 있습니다. 이러한 격차를 해소하기 위해, 본 논문에서는 저장소(repository) 수준에서 공동 구현 및 증명 합성을 평가하는 최초의 벤치마크인 Vero를 소개합니다. Vero는 Python, Dafny, Verus, Coq에 걸친 실제 저장소에서 추출되고 암호화 프로토콜부터 분산 시스템에 이르는 다양한 도메인을 포괄하는 43개의 다중 모듈 인스턴스를 포함합니다. 각 인스턴스는 사전 정의된 API 인터페이스, 수작업으로 큐레이션된 정형 명세, 참조 구현체를 갖춘 다중 모듈 Lean 4 저장소로 구성되며, 증명 전용(proof-only) 및 코드와 증명(code-and-proof) 평가 모드를 모두 지원합니다. 벤치마크의 신뢰성을 향상시키기 위해, Vero는 에이전트가 제공된 명세의 충족 불가능성이나 참조 코드의 부정확성을 정형적으로 증명할 수 있도록 허용하는 감사 메커니즘을 포함하며, 이를 통해 큐레이션 과정에서 잠재된 코드 및 명세 오류를 드러내고 수정합니다. 저자들은 Lean 툴체인 접근 권한을 갖춘 프론티어 코딩 에이전트 구성을 평가합니다. 가장 뛰어난 에이전트조차 43개 인스턴스 중 27개만을 완전히 해결했으며, 가장 어려운 저장소에서는 단 하나의 명세도 완결하지 못했습니다. Vero는 현재 에이전트들이 여전히 한계를 보이는 저장소 규모의 검증된 소프트웨어 합성을 향한 진전을 측정할 수 있는 구체적인 테스트베드를 제공합니다. 저자들은 벤치마크, 큐레이션 파이프라인, 평가 하네스를 https://github.com/sunblaze-ucb/vero 에 공개합니다.

원문 초록

AI agents are increasingly used for programming, but do not provide any guarantee on the correctness of generated code. Verified code generation, in which an agent produces both an implementation and a machine-checked proof of its specification, offers a stronger path toward trustworthy AI-generated software. Existing benchmarks in this direction either focus on individual functions or only evaluate proof generation with provided implementations. It is still an open question whether agents can make coherent implementation and proof choices across real multi-module codebases. To bridge this gap, we introduce Vero, the first benchmark to evaluate joint implementation and proof synthesis at the repository level. Vero contains 43 multi-module instances sourced from real-world repositories spanning Python, Dafny, Verus, and Coq, and covering diverse domains from cryptographic protocols to distributed systems. Each instance consists of a multi-module Lean 4 repository with predetermined API interfaces, manually curated formal specifications, and reference implementations, supporting both proof-only and code-and-proof evaluation modes. To improve benchmark reliability, Vero also includes an audit mechanism where agents are allowed to formally prove unsatisfiability of provided specification or incorrectness of reference code, which surfaces and corrects latent code and specification errors during curation. We evaluate frontier coding-agent configurations with Lean toolchain access. The strongest agent fully solves only 27 of 43 instances and closes no specifications on the hardest repositories. Vero provides a concrete testbed for measuring progress toward repository-scale verified software synthesis, where current agents still fall short. We release the benchmark, curation pipeline, and evaluation harness at https://github.com/sunblaze-ucb/vero.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.13522v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.