ProofPatch: 형식화가 진화하는 동안 Lean 명제를 검토하고 검토 결과의 유효성을 유지하기
ProofPatch: Reviewing Lean Statements and Keeping the Reviews Valid as Formalizations Evolve
한국어 초록
Lean 증명 보조기의 커널은 증명이 해당 명제를 성립시키는지 검사한다. 명제가 의도한 바를 말하는지는 사람 검토자에게 맡겨져 있다. 이는 명세 검증이라는 오래된 문제이며, 언어 모델이 형식 명제를 대량으로 작성하고 에이전트가 형식 개발물을 지속적으로 편집하면서 더욱 시급해지고 있다. 본 논문은 검토자가 Lean 명제를 판단하도록 돕고 개발물이 변하는 동안에도 그 판단을 유효하게 유지하는 도구인 ProofPatch를 제시한다. 검토자는 가설이 필요한지, 반례가 존재하는지와 같은 명제에 대한 표적 질문을 커널에 던질 수 있다. 각 결정은 Lean이 정교화(elaborate)한 명제와 그 명제가 의존하는 정의들의 지문(fingerprint)과 함께 저장되며, 어떤 선언이든 고정(pin)할 수 있어 이를 변경하는 패치는 사람이 작성했든 대규모 언어 모델(LLM) 기반 에이전트가 작성했든 차단된다. 소스 텍스트가 아니라 정교화된 항을 대상으로 작업하는 것이 핵심 설계 선택이다. 표기법과 서식의 변경은 결정을 그대로 유지시키고, 정의의 변경은 그것을 사용하는 모든 정리에 반영된다. Lean의 수학 라이브러리인 Mathlib의 연속된 개정 229쌍에서 ProofPatch는 합성 결정 12,898개 중 118개를 재검토로 되돌린다. 텍스트 기반의 모든 대안은 이 중 최소 38개를 놓치거나 최소 13배 많은 결정을 되돌린다. 레이블이 달린 명제 1,527개에서 커널 증거는 충실하지 않은 명제를 0.88~0.96의 정밀도로 표시하며, LLM 에이전트의 344회 실행에서 고정된 명제에 대한 변경은 하나도 통과하지 못했다.
원문 초록
The kernel of the Lean proof assistant checks that a proof establishes its statement. Whether the statement says what was intended is left to human reviewers. This is the old problem of validating a specification, and it grows more pressing as language models write formal statements in bulk and agents edit formal developments continuously. We present ProofPatch, a tool that helps reviewers judge Lean statements and keeps their judgments valid while the development changes. A reviewer can ask the kernel targeted questions about a statement, such as whether a hypothesis is needed or whether a counterexample exists. Each decision is stored with fingerprints of the statement as Lean elaborated it and of the definitions it depends on, and any declaration can be pinned so that a patch changing it is blocked, whether a person or an agent built on a large language model (LLM) wrote the patch. Working on elaborated terms rather than source text is the central design choice: notation and formatting changes leave a decision intact, and a changed definition reaches every theorem that uses it. On 229 pairs of consecutive revisions of Mathlib, Lean's mathematics library, ProofPatch sends 118 of 12,898 synthetic decisions back for review. Every text-based alternative misses at least 38 of these or sends back at least 13 times as many. On 1,527 labeled statements, kernel evidence flags unfaithful ones with precision 0.88 to 0.96, and in 344 runs of an LLM agent no change to a pinned statement got through.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.01357v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.