에이전트/증명기 인터페이스의 확장: Rocq 및 Lean 환경에서 비용 효율적인 정리 증명을 위한 진화적 도구 설계
Growing an Agent/Prover Interface: Evolutionary Tool Design for Cost-Efficient Theorem Proving in Rocq and Lean
한국어 초록
AI 보조 수학(AI-assisted mathematics) 분야의 최근 성과들은 기계 검증 증명서(machine-checked proof certificate)를 생성하기 위해 에이전트(agent)와 증명 보조기(proof assistant) 간의 집중적인 상호작용을 필요로 합니다. 에이전트는 증명기로부터 무엇을 수신하는지와 이러한 상호작용의 비용을 제어하는 인터페이스를 통해 Rocq나 Lean 같은 증명 보조기와 상호작용합니다. 현재 이러한 인터페이스는 인간을 위해 설계된 도구에서 개작된 것으로, 에이전트에 최적화되어 있지 않습니다. 본 논문에서는 프론티어 모델(frontier model)이 새로운 기능을 점진적으로 제안하고 더 작은 모델들의 전반적인 성능을 향상시키는 기능만을 유지하는 진화적 방법(evolutionary method)을 제안합니다. 정선된 수학 문제 세트에서 Rocq 증명기를 위한 새로운 MCP 서버인 ROCQ-MCP-EVOLVE를 구축함으로써 제안 방법의 효과를 입증합니다. miniF2F-Rocq의 홀드아웃 테스트 분할(held-out test split)에서, ROCQ-MCP-EVOLVE를 갖춘 에이전트는 Rocq 컴파일러만을 노출하는 기준선(baseline) 및 기존에 확립된 MCP 서버 모두와 비교해 두 계열의 네 가지 모델에 걸쳐 성공률, 해결당 비용(cost per solve), 해결당 시간(time per solve) 측면에서 우수한 성능을 보였습니다. Rocq용으로 진화되었음에도 불구하고, 결과 서버는 Lean으로도 전이되어 PutnamBench 서브셋에서 해결당 비용과 시간을 개선했습니다. 저자들은 ROCQ-MCP-EVOLVE와 해당 도구의 Lean 포팅 버전을 공개합니다.
원문 초록
Recent achievements in AI-assisted mathematics require intensive interaction of agents with proof assistants to generate machine-checked proof certificates. Agents interact with proof assistants such as Rocq or Lean through an interface that controls what the agent receives from the prover and the cost of these interactions. Today, these interfaces are adapted from tools designed for humans and not optimized for agents. We propose an evolutionary method where a frontier model incrementally proposes new features and only keeps the ones that improve the overall performance of smaller models. We demonstrate the effectiveness of our method by growing, on a curated set of mathematical problems, ROCQ-MCP-EVOLVE, a new MCP server for the Rocq prover. On the held-out test split of miniF2F-Rocq, an agent equipped with ROCQ-MCP-EVOLVE outperforms both the baseline that only exposes the Rocq compiler and an established MCP server, across four models from two families, in success rate, cost per solve, and time per solve. Although evolved for Rocq, the resulting server transfers to Lean, improving cost and time per solve on a subset of PutnamBench. We release ROCQ-MCP-EVOLVE and its port to Lean.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
형식 수학 및 소프트웨어 검증에서 감사 가능한 추론을 위한 FORALL-LEAN-AGENT
FORALL-LEAN-AGENT for Auditable Reasoning in Formal Mathematics and Software Verification
코딩 에이전트(agent)는 Lean 증명 개발을 점점 더 자동화하고 있지만, 컴파일 성공만으로는 후보 증명이 허용 가능한 가정 하에서 의도한 명제를 증명한다는 점을 확증하지 못합니다. 본 논문에서는 형식 수학 및 소프트웨어 검증에서 감사 가능한 추론을 위한 프런트엔드 독립적 프레임워크인 FORALL-LEAN-AGENT를 제시합니다. 이 프레임워크는 격리된 작업 공간, Lean 도구, 새로운 검토를 명제 비교, 공리 감사, 그리고 지원되는 경우 독립적인 증명 검사와 결합합니다. 검증 증거와 검토자의 결정은 동일한 후보 아티팩트에 바인딩되어 수락 과정을 추적할 수 있도록 합니다. 우리는 VeriSoftBench, PutnamBench, 그리고 Lean Eval 소프트웨어 검증 트랙의 두 문제 모두에서 이 프레임워크를 평가합니다. 100개 과제로 구성된 VeriSoftBench 하위 집합에서, FORALLLEAN-AGENT와의 통합은 GPT-5.6 Sol의 벤치마크 규칙 성공을 낮은 노력으로 93개에서 100개로 높이는 동시에 비용을 69달러에서 62달러로 절감합니다. PutnamBench 평가에서는 전체 672개 문제를 평균 4.72달러에 모두 통과시킵니다. 이러한 결과는 에이전트 하네스 설계가 총 해결 횟수를 넘어서는 증거를 제공하는 동시에 정확성과 효율성을 향상시킬 수 있음을 보여줍니다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
SqueezeBench: 포화에 강건한 수학적 능력 평가
SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability
AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.
올림피아드 에이전트의 인간화: Solve, Review, Wiki, Verify를 활용한 올림피아드 문제 해결용 다중 세션 워크플로
Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify
대규모 언어 모델(LLM) 에이전트는 장기적인 과학 및 올림피아드 과제에서 빠르게 발전하고 있습니다. 최근 시스템들은 나비에-스토크스(Navier--Stokes) 문제에 대한 Lean 정형화 해법과 에르되시 추측(Erdős Conjectures) 데이터베이스의 4개 미해결 문제에 대한 자율적 해법을 제시했습니다. 그러나 두 시스템 모두 기반 모델과 완전한 추론 스택을 동시에 공개하지는 않았습니다. 더 넓게 보면, 단일 에이전트 세션은 고난도 문제에서 여전히 취약합니다. 초기 오류가 전파될 수 있고, 도메인 지식 부족으로 진행이 중단될 수 있으며, 겉보기의 성공이 원래 과제에 대한 오해나 조건 완화를 감추고 있을 수도 있습니다. 본 연구에서는 상호보완적인 세 가지 피드백 채널을 통해 다중 에이전트 세션을 조율하는 공개 플로우 수준 프레임워크인 HOA(Humanize Olympiads Agent)를 소개합니다. 첫째, 독립적인 검토자(reviewer)가 각 후보 해법을 평가하고 실행 가능한 피드백을 제공합니다. 둘째, 구조화된 위키가 모델 사전학습에서 누락되었거나 신뢰할 수 없는 과제 특화 지식을 제공합니다. 셋째, 검증기(verifier)가 생성된 Lean 증명을 신뢰할 수 있는 문제 명제와 대조하여 확인합니다. GPT-5.6 Sol을 적용한 HOA는 IMO, IPhO, IOI 2026에서 만점을 기록하고, IChO 2026 문제 세트에서 만점에 근접한 점수를 얻었으며, PutnamBench의 672개 문제 전체(100%)를 해결했습니다. Lean-Eval 리더보드에서 HOA는 304개 문제 중 251개(82.6%)를 해결하여 1위를 기록했습니다. 나아가 오픈 모델을 활용해 HOA를 평가했습니다. Kimi-K3를 사용했을 때 HOA는 IMO, IPhO, IOI에서 만점을 달성하고 IChO에서 97.1%의 금메달 수준 점수를 획득했습니다. 이러한 결과는 IMO와 IPhO에서 폐쇄형 GPT-5.6 Sol + /Goal 기준선과 거의 일치하는 동시에 IChO와 IOI에서는 이를 능가하여, 체계적인 피드백이 기본 모델 역량의 상당한 격차를 해소하는 데 기여할 수 있음을 보여줍니다.
FormalTCS: 대규모 언어 모델의 최전선 형식 이론 전산학 연구 전 과정(End-to-End) 벤치마킹
FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models
대규모 언어 모델(LLM)은 이론 전산학(TCS) 연구 자동화에서 점점 더 큰 잠재력을 보여 왔지만, 기존 벤치마크는 현실적인 연구 환경과는 여전히 거리가 멀다. 본 논문에서는 최전선(frontier)의 end-to-end TCS 연구에 대한 LLM 평가를 위한, 전문가가 검증한 벤치마크인 \ourbenchmark를 소개한다. \ourbenchmark는 2025-2026년 STOC, FOCS, SODA, COLT에 채택된 논문에서 추출한 $143$개의 인스턴스로 구성되며, 논문별 정의, 가정, 증명 의존성을 그대로 보존하고, 전문가가 검증한 Lean 형식화와 증명을 포함한다. 주요 LLM에 대한 평가 결과, 현재 모델들은 전체 연구 파이프라인을 안정적으로 완수하는 데 여전히 크게 못 미치는 것으로 나타났다. 특히 자동 형식화(autoformalization)가 가장 큰 병목이다. 가장 성능이 좋은 모델은 자연어 주장을 형식 정리 명제로 번역하는 과제에서 $11.5$에 그친 반면, 사람이 제공한 형식 명제를 증명하는 과제에서는 Pass@8 기준 $28.6$을 달성했다. \ourbenchmark를 바탕으로, 새로운 주장을 생성하고, 형식화하고, 필터링하고, 증명하는 자동화된 TCS 연구 프레임워크도 추가로 개발한다. 생성된 $64$개의 주장 중 최종적으로 전문가 평가와 증명 검증을 모두 통과한 것은 $6$개에 불과했으며, 이는 형식화 외에도 제한적인 연구 안목(research taste)이 자율적 TCS 연구를 가로막는 또 다른 주요 장벽임을 시사한다.
FrontierMath Erd\H{o}s
FrontierMath Erd\H{o}s
2026년 8월 기준 미해결 상태인 68개의 에르되시(Erd\H{o}s) 문제로 구성된 벤치마크인 FrontierMath Erd\H{o}s(FME)를 소개합니다. FME의 과제를 해결하려면 AI 시스템이 증명 보조기(proof assistant) Lean에서 68개 추측 중 하나를 해결(증명 또는 반증)해야 합니다. 이 68개 문제는 수학적 흥미도와 난이도를 고려하여 erdosproblems.com에 등록된 652개의 미해결 문제 중 제2저자가 선정했습니다. 최근 AI가 수학 분야의 여러 미해결 문제를 해결하기도 했으나, 이러한 사례들은 AI 역량에 대한 체계적인 연구에는 미치지 못합니다. FME는 동일한 고정 문제에 대해 자율적이면서도 동일한 예산 조건 하에서 모든 AI 모델을 평가합니다. 우리는 문제당 \$300의 예산으로 5개의 AI를 평가했습니다. 그중 하나(GPT-6 Astra)가 3%를 기록했으며, 나머지 모델은 모두 0%를 기록했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.