형식 수학 및 소프트웨어 검증에서 감사 가능한 추론을 위한 FORALL-LEAN-AGENT
FORALL-LEAN-AGENT for Auditable Reasoning in Formal Mathematics and Software Verification
한국어 초록
코딩 에이전트(agent)는 Lean 증명 개발을 점점 더 자동화하고 있지만, 컴파일 성공만으로는 후보 증명이 허용 가능한 가정 하에서 의도한 명제를 증명한다는 점을 확증하지 못합니다. 본 논문에서는 형식 수학 및 소프트웨어 검증에서 감사 가능한 추론을 위한 프런트엔드 독립적 프레임워크인 FORALL-LEAN-AGENT를 제시합니다. 이 프레임워크는 격리된 작업 공간, Lean 도구, 새로운 검토를 명제 비교, 공리 감사, 그리고 지원되는 경우 독립적인 증명 검사와 결합합니다. 검증 증거와 검토자의 결정은 동일한 후보 아티팩트에 바인딩되어 수락 과정을 추적할 수 있도록 합니다. 우리는 VeriSoftBench, PutnamBench, 그리고 Lean Eval 소프트웨어 검증 트랙의 두 문제 모두에서 이 프레임워크를 평가합니다. 100개 과제로 구성된 VeriSoftBench 하위 집합에서, FORALLLEAN-AGENT와의 통합은 GPT-5.6 Sol의 벤치마크 규칙 성공을 낮은 노력으로 93개에서 100개로 높이는 동시에 비용을 69달러에서 62달러로 절감합니다. PutnamBench 평가에서는 전체 672개 문제를 평균 4.72달러에 모두 통과시킵니다. 이러한 결과는 에이전트 하네스 설계가 총 해결 횟수를 넘어서는 증거를 제공하는 동시에 정확성과 효율성을 향상시킬 수 있음을 보여줍니다.
원문 초록
Coding agents increasingly automate Lean proof development, but successful compilation alone does not establish that a candidate proves the intended statement under acceptable assumptions. We present FORALL-LEAN-AGENT, a frontend-agnostic framework for auditable reasoning in formal mathematics and software verification. The framework combines isolated workspaces, Lean tools, and fresh review with statement comparison, axiom audits, and independent proof checking where supported. Verification evidence and reviewer decisions are bound to the same candidate artifact, making acceptance traceable. We evaluate the framework on VeriSoftBench, PutnamBench, and both problems in the Lean Eval softwareverification track. On the 100-task VeriSoftBench subset, integration with FORALLLEAN-AGENT raises benchmark-rule success from 93 to 100 for GPT-5.6 Sol at low effort while reducing cost from $69 to $62. The PutnamBench evaluation accepts all 672 problems at an average of $4.72 each. These results show that agent harness design can improve correctness and efficiency while providing evidence beyond aggregate solve counts.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SqueezeBench: 포화에 강건한 수학적 능력 평가
SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability
AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.
에이전트/증명기 인터페이스의 확장: Rocq 및 Lean 환경에서 비용 효율적인 정리 증명을 위한 진화적 도구 설계
Growing an Agent/Prover Interface: Evolutionary Tool Design for Cost-Efficient Theorem Proving in Rocq and Lean
AI 보조 수학(AI-assisted mathematics) 분야의 최근 성과들은 기계 검증 증명서(machine-checked proof certificate)를 생성하기 위해 에이전트(agent)와 증명 보조기(proof assistant) 간의 집중적인 상호작용을 필요로 합니다. 에이전트는 증명기로부터 무엇을 수신하는지와 이러한 상호작용의 비용을 제어하는 인터페이스를 통해 Rocq나 Lean 같은 증명 보조기와 상호작용합니다. 현재 이러한 인터페이스는 인간을 위해 설계된 도구에서 개작된 것으로, 에이전트에 최적화되어 있지 않습니다. 본 논문에서는 프론티어 모델(frontier model)이 새로운 기능을 점진적으로 제안하고 더 작은 모델들의 전반적인 성능을 향상시키는 기능만을 유지하는 진화적 방법(evolutionary method)을 제안합니다. 정선된 수학 문제 세트에서 Rocq 증명기를 위한 새로운 MCP 서버인 ROCQ-MCP-EVOLVE를 구축함으로써 제안 방법의 효과를 입증합니다. miniF2F-Rocq의 홀드아웃 테스트 분할(held-out test split)에서, ROCQ-MCP-EVOLVE를 갖춘 에이전트는 Rocq 컴파일러만을 노출하는 기준선(baseline) 및 기존에 확립된 MCP 서버 모두와 비교해 두 계열의 네 가지 모델에 걸쳐 성공률, 해결당 비용(cost per solve), 해결당 시간(time per solve) 측면에서 우수한 성능을 보였습니다. Rocq용으로 진화되었음에도 불구하고, 결과 서버는 Lean으로도 전이되어 PutnamBench 서브셋에서 해결당 비용과 시간을 개선했습니다. 저자들은 ROCQ-MCP-EVOLVE와 해당 도구의 Lean 포팅 버전을 공개합니다.
타입 검사를 넘어서: 정형 명세 생성의 종합적 평가를 향하여
Beyond Type-checking: Towards Holistic Evaluation of Formal Specification Generation
검증 가능한 코드를 생성할 때, 대규모 언어 모델(LLM)과 에이전트(agent) 워크플로를 사용하여 자연어 요구사항을 기계 검증된 코드로 매핑합니다. 이 파이프라인의 핵심 구성 요소는 에이전트가 구현의 정확성을 증명할 수 있는 정형 계약을 생성하는 명세 생성(SpecGen)입니다. 증명 생성은 정리 증명기(theorem prover)로부터 결정론적 피드백을 얻을 수 있지만, SpecGen은 생성된 명세가 사용자의 의도를 제대로 포착했는지에 대한 결정적인 검증 수단이 부족합니다. 따라서 검증을 통과한 증명이라 하더라도 의도된 동작을 잘못 나타내는 명세를 기준으로 정확성을 입증하는 문제가 발생할 수 있습니다. 본 연구에서는 VERINA의 $189$개 및 CLEVER의 $161$개를 포함하여 기존의 $350$개 Lean 작업으로 구성된 통합 데이터셋(dataset)과, 정형적 타당성, 참조 유사도 및 동치성, 동작 적절성을 다루는 프레임워크를 통해 총체적인 SpecGen 평가를 향한 한 걸음을 내딛습니다. 본 연구는 필수 입력의 수용을 유효한 출력의 수용 및 무효한 출력의 거부와 구별하는 동시에, 각 지표의 근거 범위를 명시적으로 만듭니다. 네 가지 SpecGen 구성에 걸쳐 참조 유사도 측정 지표인 일반화된 트리 편집 거리(GTED) 비교를 공동 측정이 가능한 $32$개의 VERINA 작업으로 제한하면, 평균 유사도에서 VERINA 구성의 순위가 2위에서 4위로 변경되어 측정 범위(coverage)의 중요성을 보여줍니다. 직접 작성한 대조군 실험에서는 한 명세가 필수 입력을 $0\%$만 수용하면서도 $100\%$의 양성 테스트 재현율(recall) 및 음성 테스트 거부를 달성했습니다. 이는 완벽한 사후 조건 점수가 사용 불가능한 입력 계약을 놓칠 수 있음을 입증하며, 입력 범위와 출력 제약 조건에 대한 분리된 피드백의 필요성을 시사합니다.
FormalTCS: 대규모 언어 모델의 최전선 형식 이론 전산학 연구 전 과정(End-to-End) 벤치마킹
FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models
대규모 언어 모델(LLM)은 이론 전산학(TCS) 연구 자동화에서 점점 더 큰 잠재력을 보여 왔지만, 기존 벤치마크는 현실적인 연구 환경과는 여전히 거리가 멀다. 본 논문에서는 최전선(frontier)의 end-to-end TCS 연구에 대한 LLM 평가를 위한, 전문가가 검증한 벤치마크인 \ourbenchmark를 소개한다. \ourbenchmark는 2025-2026년 STOC, FOCS, SODA, COLT에 채택된 논문에서 추출한 $143$개의 인스턴스로 구성되며, 논문별 정의, 가정, 증명 의존성을 그대로 보존하고, 전문가가 검증한 Lean 형식화와 증명을 포함한다. 주요 LLM에 대한 평가 결과, 현재 모델들은 전체 연구 파이프라인을 안정적으로 완수하는 데 여전히 크게 못 미치는 것으로 나타났다. 특히 자동 형식화(autoformalization)가 가장 큰 병목이다. 가장 성능이 좋은 모델은 자연어 주장을 형식 정리 명제로 번역하는 과제에서 $11.5$에 그친 반면, 사람이 제공한 형식 명제를 증명하는 과제에서는 Pass@8 기준 $28.6$을 달성했다. \ourbenchmark를 바탕으로, 새로운 주장을 생성하고, 형식화하고, 필터링하고, 증명하는 자동화된 TCS 연구 프레임워크도 추가로 개발한다. 생성된 $64$개의 주장 중 최종적으로 전문가 평가와 증명 검증을 모두 통과한 것은 $6$개에 불과했으며, 이는 형식화 외에도 제한적인 연구 안목(research taste)이 자율적 TCS 연구를 가로막는 또 다른 주요 장벽임을 시사한다.
FrontierMath Erd\H{o}s
FrontierMath Erd\H{o}s
2026년 8월 기준 미해결 상태인 68개의 에르되시(Erd\H{o}s) 문제로 구성된 벤치마크인 FrontierMath Erd\H{o}s(FME)를 소개합니다. FME의 과제를 해결하려면 AI 시스템이 증명 보조기(proof assistant) Lean에서 68개 추측 중 하나를 해결(증명 또는 반증)해야 합니다. 이 68개 문제는 수학적 흥미도와 난이도를 고려하여 erdosproblems.com에 등록된 652개의 미해결 문제 중 제2저자가 선정했습니다. 최근 AI가 수학 분야의 여러 미해결 문제를 해결하기도 했으나, 이러한 사례들은 AI 역량에 대한 체계적인 연구에는 미치지 못합니다. FME는 동일한 고정 문제에 대해 자율적이면서도 동일한 예산 조건 하에서 모든 AI 모델을 평가합니다. 우리는 문제당 \$300의 예산으로 5개의 AI를 평가했습니다. 그중 하나(GPT-6 Astra)가 3%를 기록했으며, 나머지 모델은 모두 0%를 기록했습니다.
Euclean: Lean에서 통합 검증을 통한 기하 문제 자동 형식화
Euclean: Automated Geometry Problem Formalization with Unified Verification in Lean
최근 형식적 추론(formal reasoning) 시스템은 IMO 수준의 성능에 도달했지만, 여전히 분절된 환경을 남기고 있다. 대수와 정수론은 Lean에서 처리되는 반면, 기하학은 여전히 제한적인 형식적 보장을 갖는 도메인 특화 언어에 의존한다. 이러한 분리는 신뢰 컴퓨팅 기반(trusted computing base)을 확대하고 통합 모델 개발을 저해한다. 기존 Lean 기하학 연구(LeanEuclid, LeanGeo)는 표준 Mathlib와 호환되지 않는 맞춤형 공리 체계를 도입하며, 그 규모가 작아(< 1,100개 문제) 대규모 학습을 제한한다. 그러나 기하학의 네이티브 Mathlib 자동 형식화(autoformalization)는 별도의 과제를 제기한다. 암묵적 도형 가정(예: 위상적 구성과 비퇴성)은 외부 솔버에 위임하기보다 명시적으로 드러내야 하며, 모델은 Mathlib의 작고 빠르게 진화하는 기하학 인프라에 적응해야 한다. 우리는 네이티브 Mathlib에서 기하학을 자동으로 형식화하기 위한 4단계 프레임워크인 Euclean—제약 명시(constraint explication), 구성 고정(configuration anchoring), 형식화 매핑(formalization mapping), 반복적 수정(iterative repair)—을 제시한다. 우리는 Lean에서 가장 큰 기하 형식화 데이터셋인 OMNI-Geometry(768개 경시 문제)와 Numina-Geometry(177,597개 문제)를 구축했다. 인간 평가에서 TOP1 정확도 48.89%, TOP5 정확도 73.33%를 보였다. 우리의 형식화 결과로 Goedel v2를 학습하면 증명 성공률이 13.6%에서 15.1%로 향상되어, 통합 신경망 정리 증명(neural theorem proving)을 위한 데이터셋 품질을 검증한다. 코드 및 데이터셋: https://github.com/tlb-22/Euclean.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026 VeriCodeGen