한국어 초록
장기적(Long-horizon) 수학적 추론이 실패하는 원인은 모델이 유효한 다음 단계를 생성하지 못해서라기보다는, 에이전트가 여러 반복 과정에 걸쳐 적절한 의미론적 상태(semantic state)를 유지하고 노출하지 못하기 때문인 경우가 더 많습니다. 이를 관리하지 않고 방치하면 국소적으로는 설득력 있어 보이지만 전역적으로는 불완전한 연구 수준의 증명이 생성됩니다. 즉, 핵심 보조정리가 증명되지 않거나, 가정이 검증되지 않거나, 인용이 뒷받침되지 않거나, 계산적 주장이 검증되지 않은 상태가 발생합니다. 본 논문에서는 영속적이고 유형화된(typed) 연구 저장소와 해당 저장소로부터 연산별 문맥을 컴파일하는 조율기(orchestrator)를 중심으로 구축된 장기적 증명 개발을 위한 에이전트 프레임워크인 Research Math Agents(RMA)를 제시합니다. 연구 문맥 조율기(Research Context Orchestrator)는 영속적인 연구 저장소와 국소적 범위의 각 증명 연산 사이에서 중심 상태 관리 층(layer) 역할을 수행합니다. 즉, 과업과 관련된 아티팩트를 검색하고, 이를 제한된 문맥으로 컴파일하며, 적절한 연산을 호출하고, 그 결과로 생성된 증명 수정 사항, 이슈 업데이트, 문헌 노트, 계획 또는 평가를 저장소에 다시 기록합니다. 이 프로세스는 증명 개정판, 미해결 이슈, 이전 시도, 문헌 및 평가를 여러 라운드에 걸쳐 유지하는 동시에 각 국소적 연산에는 과업과 관련된 상태만을 노출하도록 설계되었습니다. 저자들은 독립적인 전문가 평가, 수학자 블라인드 리뷰, 대규모 언어 모델(LLM) 기반 벤치마크 평가, 그리고 Lean 4 커널 검증을 활용하여 상호보완적인 연구 수준의 환경 전반에서 RMA를 평가합니다. RMA는 독립적으로 평가된 SOOHAK Challenge Hard 세트에서 42.5%의 해결률을 달성하고, 인간 전문가 평가 하에 First Proof B1에서 10개 중 8개의 정답 솔루션을, B2에서 10개 중 8개의 통과 솔루션을 획득했으며, Formal Conjectures에서 표본 추출된 300개의 Research Solved 대상 중 213개를 Lean 4 커널로 검증했습니다.
원문 초록
Long-horizon mathematical reasoning fails less often because a model cannot produce a valid next step than because an agent fails to maintain and expose the right semantic state across many iterations. Left unmanaged, this produces research-level proofs that are locally convincing yet globally incomplete: a key lemma unproved, an assumption unchecked, a citation unsupported, or a computational claim unverified. We present Research Math Agents (RMA), an agentic framework for long-horizon proof development built around a persistent, typed research store and an orchestrator that compiles operation-specific context from that store. The Research Context Orchestrator is the central state-management layer between the persistent research store and each locally scoped proof operation: it retrieves task-relevant artifacts, compiles them into a bounded context, invokes the appropriate operation, and writes the resulting proof edits, issue updates, literature notes, plans, or evaluations back to the store. This process is designed to keep proof revisions, unresolved issues, prior attempts, literature, and evaluations available across rounds while exposing only task-relevant state to each local operation. We evaluate RMA across complementary research-level settings using independent expert evaluation, blind mathematician review, LLM-based benchmark evaluation, and Lean 4 kernel verification. RMA achieves a 42.5% solve rate on the independently evaluated SOOHAK Challenge Hard set, obtains 8 of 10 correct solutions on First Proof B1 and 8 of 10 passing solutions on B2 under human-expert evaluation, and verifies 213 of 300 sampled Research Solved targets in Formal Conjectures with the Lean 4 kernel.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LAMP: MCP와 증명 복구를 활용한 Lean 기반 에이전트 프레임워크
LAMP: Lean-based Agentic framework with MCP and Proof Repair
대규모 언어 모델(LLM)은 수학적 추론 능력이 점점 향상되고 있지만, 생성된 증명은 신뢰하기 어렵고 검증이 까다로운 경우가 많다. Lean 4와 같은 대화형 정리 증명기(interactive theorem prover)는 커널 검증 증명만을 허용함으로써 이 문제를 해결하지만, 그 적용 범위는 형식화된 지식의 양에 의해 제한된다. Lean 4의 형식화된 정리 저장소인 Mathlib는 다양한 수학 분야를 다루지만, 특정 전문 분야는 아직 충분히 표현되지 않았다. 특히 단어 조합론(Combinatorics on Words, CoW) 분야가 그러하다. CoW는 수열을 연구하며, 주기성(periodicity), 경계(borders), 켤레(conjugacy), 형태소(morphisms) 등의 성질을 탐구한다. 그 결과, Mathlib 중심 데이터로 학습된 특화 증명기들은 CoW 영역에서 필요한 보조 정리(lemma)를 갖추지 못하고 있다. 본 논문은 두 가지 기여를 제시한다. 첫째, 8개의 모듈과 핵심 정의 및 기초 보조 정리로 이루어진 \textbf{93}개의 선언을 포함하는 CoW의 Lean 4 형식화를 소개한다. 둘째, 증명기를 미세조정하는 대신 추론 시점에 온톨로지(ontology)를 통해 명시적이고 구조화된 도메인 지식을 제공함으로써 커널 검증된 Lean 4 증명을 합성하는 멀티 에이전트 프레임워크인 LAMP를 제안한다. LAMP는 Model Context Protocol(MCP) 기반의 도메인 특화 CoW 온톨로지 접근을 통해 Planner, Builder, Verifier 에이전트를 조율한다. 8개 모듈 전체와 세 가지 난이도 수준에 걸친 90개의 CoW 정리 집합에서, LAMP는 정리의 96.7%에 대해 검증된 증명을 합성하여 스캐폴딩 없는 기준선(baseline) 및 기존 특화 증명기를 크게 상회하였다. 에이블레이션(ablation) 실험에 따르면, LAMP의 도구 기반 아키텍처 또는 Planner/Builder 분리 구조를 제거할 경우, 백본 모델을 고정한 상태에서도 각각 약 12 퍼센트포인트의 성능 저하가 발생하였다.
AXLE: Lean 4 정리 증명 유틸리티를 위한 클라우드 인프라
AXLE: A Cloud Infrastructure for Lean 4 Theorem Proving Utilities
본 논문은 Lean 4 증명 조작, 추출, 검증을 위한 클라우드 서비스인 AXLE(Axiom Lean Engine)를 소개한다. 수학 AI의 최근 진전—강화학습 파이프라인, 에이전트 기반 증명 워크플로, 데이터셋 큐레이션—은 수백만 건의 요청 규모로 확장하면서도 정확하고 견고함을 유지하는 Lean 4 도구를 요구한다. 기존 인프라는 병렬 컴파일은 제공하지만, 현대 AI 워크플로가 요구하는 처리량에서 확장 가능한 증명 검증, 고수준 증명 조작, 다중 버전 지원, 요청 단위 격리는 제공하지 않는다. AXLE는 엄격한 증명 검증, 선언 메타데이터 추출, 의미론적 소스 조작, 결정론적 증명 수리 및 단순화, 보조정리 추출에 이르는 14개의 Lean 4 메타프로그래밍 도구를 제공한다. 이 서비스는 다중 테넌트 클라우드 배포로 운영되며 요청 단위 격리와 여러 Lean 4 및 Mathlib 버전의 동시 지원을 제공하며, Python SDK, 명령줄 인터페이스, 웹 UI, MCP 서버, raw HTTP API를 통해 접근할 수 있다. AXLE는 https://axle.axiommath.ai 및 axiom-axle PyPI 패키지를 통해 공개적으로 이용 가능하며 무료이며, 로컬 Lean 4 설치가 필요하지 않다. 지금까지 5억 건 이상의 요청을 처리했으며, 2025 퍼트넘(Putnam) 대회 12/12 점수를 포함한 Axiom Math의 증명 노력의 기반 인프라이다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
SqueezeBench: 포화에 강건한 수학적 능력 평가
SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability
AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.
올림피아드 에이전트의 인간화: Solve, Review, Wiki, Verify를 활용한 올림피아드 문제 해결용 다중 세션 워크플로
Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify
대규모 언어 모델(LLM) 에이전트는 장기적인 과학 및 올림피아드 과제에서 빠르게 발전하고 있습니다. 최근 시스템들은 나비에-스토크스(Navier--Stokes) 문제에 대한 Lean 정형화 해법과 에르되시 추측(Erdős Conjectures) 데이터베이스의 4개 미해결 문제에 대한 자율적 해법을 제시했습니다. 그러나 두 시스템 모두 기반 모델과 완전한 추론 스택을 동시에 공개하지는 않았습니다. 더 넓게 보면, 단일 에이전트 세션은 고난도 문제에서 여전히 취약합니다. 초기 오류가 전파될 수 있고, 도메인 지식 부족으로 진행이 중단될 수 있으며, 겉보기의 성공이 원래 과제에 대한 오해나 조건 완화를 감추고 있을 수도 있습니다. 본 연구에서는 상호보완적인 세 가지 피드백 채널을 통해 다중 에이전트 세션을 조율하는 공개 플로우 수준 프레임워크인 HOA(Humanize Olympiads Agent)를 소개합니다. 첫째, 독립적인 검토자(reviewer)가 각 후보 해법을 평가하고 실행 가능한 피드백을 제공합니다. 둘째, 구조화된 위키가 모델 사전학습에서 누락되었거나 신뢰할 수 없는 과제 특화 지식을 제공합니다. 셋째, 검증기(verifier)가 생성된 Lean 증명을 신뢰할 수 있는 문제 명제와 대조하여 확인합니다. GPT-5.6 Sol을 적용한 HOA는 IMO, IPhO, IOI 2026에서 만점을 기록하고, IChO 2026 문제 세트에서 만점에 근접한 점수를 얻었으며, PutnamBench의 672개 문제 전체(100%)를 해결했습니다. Lean-Eval 리더보드에서 HOA는 304개 문제 중 251개(82.6%)를 해결하여 1위를 기록했습니다. 나아가 오픈 모델을 활용해 HOA를 평가했습니다. Kimi-K3를 사용했을 때 HOA는 IMO, IPhO, IOI에서 만점을 달성하고 IChO에서 97.1%의 금메달 수준 점수를 획득했습니다. 이러한 결과는 IMO와 IPhO에서 폐쇄형 GPT-5.6 Sol + /Goal 기준선과 거의 일치하는 동시에 IChO와 IOI에서는 이를 능가하여, 체계적인 피드백이 기본 모델 역량의 상당한 격차를 해소하는 데 기여할 수 있음을 보여줍니다.
에이전트/증명기 인터페이스의 확장: Rocq 및 Lean 환경에서 비용 효율적인 정리 증명을 위한 진화적 도구 설계
Growing an Agent/Prover Interface: Evolutionary Tool Design for Cost-Efficient Theorem Proving in Rocq and Lean
AI 보조 수학(AI-assisted mathematics) 분야의 최근 성과들은 기계 검증 증명서(machine-checked proof certificate)를 생성하기 위해 에이전트(agent)와 증명 보조기(proof assistant) 간의 집중적인 상호작용을 필요로 합니다. 에이전트는 증명기로부터 무엇을 수신하는지와 이러한 상호작용의 비용을 제어하는 인터페이스를 통해 Rocq나 Lean 같은 증명 보조기와 상호작용합니다. 현재 이러한 인터페이스는 인간을 위해 설계된 도구에서 개작된 것으로, 에이전트에 최적화되어 있지 않습니다. 본 논문에서는 프론티어 모델(frontier model)이 새로운 기능을 점진적으로 제안하고 더 작은 모델들의 전반적인 성능을 향상시키는 기능만을 유지하는 진화적 방법(evolutionary method)을 제안합니다. 정선된 수학 문제 세트에서 Rocq 증명기를 위한 새로운 MCP 서버인 ROCQ-MCP-EVOLVE를 구축함으로써 제안 방법의 효과를 입증합니다. miniF2F-Rocq의 홀드아웃 테스트 분할(held-out test split)에서, ROCQ-MCP-EVOLVE를 갖춘 에이전트는 Rocq 컴파일러만을 노출하는 기준선(baseline) 및 기존에 확립된 MCP 서버 모두와 비교해 두 계열의 네 가지 모델에 걸쳐 성공률, 해결당 비용(cost per solve), 해결당 시간(time per solve) 측면에서 우수한 성능을 보였습니다. Rocq용으로 진화되었음에도 불구하고, 결과 서버는 Lean으로도 전이되어 PutnamBench 서브셋에서 해결당 비용과 시간을 개선했습니다. 저자들은 ROCQ-MCP-EVOLVE와 해당 도구의 Lean 포팅 버전을 공개합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Code: https://github.com/sjtuytc/ResearchMathAgent