arXiv:2611.02849v1 cs.AI

TLAPS-Bench: TLA+ 증명 시스템으로 실제 시스템 명세의 정확성을 형식적으로 증명하기

TLAPS-Bench: Formally Proving Correctness of Real-World System Specifications with TLA+ Proof System

Qian Cheng, Ruize Tang, Saad Mohammad Rafid Pial, Zhizhen Cathy Cai, Yiming Su, Jackson Clark, Munim Thahmid, Mahdiya Rahman Sukanya, Chris Newcombe, Igor Konnov, Stephan Merz, Xudong Sun, Murat Demirbas, Yu Huang, Markus Alexander Kuppe 외 1명

제출 2026-11-02

저자 비고

arXiv Comments

35 pages (10-page main text, references, and appendix), 7 figures, 20 tables. Benchmark and harness: https://github.com/specula-org/TLAPS-Bench

한국어 초록

TLAPS-Bench는 에이전트형 AI를 활용하여 TLA+로 작성된 실제 시스템 명세에 대한 기계 검증 증명을 구성하기 위한 벤치마크이자 실행 하네스이다. 복잡한 시스템 명세의 정확성을 증명하려면 귀납적 불변식을 발견하고, 복잡한 상태 전이를 추론하며, 증명을 다루기 쉬운 의무 조건들로 분해해야 한다. TLAPS-Bench는 TLA+ 증명 시스템(TLAPS) 위에서 반복적인 증명 개발을 지원하는 증명 하네스를 제공하며, 여기서 에이전트는 증명 도구와 라이브러리를 갖추고 보상 해킹을 방지하는 안전장치를 적용받는다. 이 하네스를 사용하여 우리는 AI 에이전트로 이전에 증명되지 않았던 중요한 시스템 명세의 원하는 속성을 증명했으며, 그 범위는 캐시 일관성, 비잔틴 합의, 선행 기록 로그에 걸친다. TLAPS-Bench는 실제 시스템의 TLA+ 명세 95개로부터 얻은 265개의 증명 대상(각각 증명할 속성 하나를 인코딩함)을 포함한다. 우리는 GPT 모델을 사용하는 Codex로 대표되는 최첨단 AI 에이전트를 12개 명세에 걸친 70개 증명 대상의 부분집합에서 평가했다. 최고 점수 모델인 GPT-6.1 Sol (max)은 증명 대상 31개(44.3%)를 증명했다. 이 결과는 종단간 증명 개발의 과제와 기회를 보여 준다.

원문 초록

TLAPS-Bench is a benchmark and execution harness for constructing machine-checked proofs for real-world system specifications in TLA+ with agentic AI. Proving correctness of complex system specifications requires discovering inductive invariants, reasoning about intricate state transitions, and decomposing proofs into tractable obligations. TLAPS-Bench provides a proof harness that supports iterative proof development atop the TLA+ Proof System (TLAPS), where agents are equipped with proof tools and libraries, with safeguards against reward hacking. Using the harness, we have employed AI agents to prove desired properties for important system specifications that were not proved before, spanning cache coherence, Byzantine consensus, and write-ahead logs. TLAPS-Bench contains 265 proof targets (each encodes a property to prove) from 95 TLA+ specifications of real-world systems. We evaluated frontier AI agents, represented by Codex with GPT models, on a subset of 70 proof targets across 12 specifications. The highest-scoring model, GPT-6.1 Sol (max), proved 31 (44.3%) proof targets. The results show challenges and opportunities in end-to-end proof development.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.02849v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.