arXiv:2608.25449v2 cs.CL

MathAdv: 정리 증명기가 무엇을 알고, 추론하고, 정형화하며, 일반화하는가

MathAdv: What Theorem Provers Know, Reason, Formalize, and Generalize

Jiaxin Yuan, Connor Martinez Lockhart, Xiaoyu Liu, Jiaqi Wang, Chenghao Deng, Xiayimei Han, Vlassis Mastrantonis, Dmitrii Gudin, Shaopeng Zhu, Abdirisak Mohamed, Bilal Aytekin, Jiewen Lang, Zezheng Song, Furong Huang

제출 2026-08-26

한국어 초록

정형 정리 증명(Formal theorem proving)은 수학적 추론에 대한 기계 검증 가능한 평가를 가능하게 하지만, 기존 벤치마크들은 종종 총체적인 증명 정확도만을 강조하고, 좁은 범위의 수학에 집중하며, 동치인 재구성(equivalent reformulations)에 대한 강건성(robustness)의 증거를 제한적으로만 제공합니다. 본 논문에서는 학부 및 대학원 수준의 수학 전반에 걸친 13개 영역을 아우르는 진단용 벤치마크인 MathAdv를 소개합니다. MathAdv는 Lean 4 기반 정리 증명과 함께 최대 세 가지 보조 태스크를 제공합니다: 수학적 지식을 탐색하는 객관식 질문, 비정형 추론(informal reasoning)을 분리하여 검증하는 빈칸 채우기 문제, 그리고 문제 표현 방식에 대한 강건성을 테스트하는 전문가 제작 변형입니다. 최신 정리 증명기들에 대한 본 평가 결과는 네 가지 사실을 밝혀냅니다: 정형화(formalization)가 여전히 주요 병목으로 남아 있다는 점, 수학 영역별로 성능 편차가 크다는 점, 자연어 가이드가 범용 대규모 언어 모델(LLM)에는 도움이 되지만 증명 특화 모델에는 오히려 방해가 될 수 있다는 점, 그리고 수학적으로 동치인 재구성 문제에서 상당한 강건성 한계가 드러난다는 점입니다. 종합적으로 이러한 결과들은 요소별(component-wise) 평가가 총체적인 정리 증명 정확도로는 가려지는 모델의 능력과 실패 양상을 어떻게 밝혀낼 수 있는지를 보여줍니다. 데이터셋과 평가 스크립트는 https://github.com/margotyjx/MathAdv.git 에서 이용 가능합니다.

원문 초록

Formal theorem proving enables machine-verifiable evaluation of mathematical reasoning, yet existing benchmarks often emphasize aggregate proof accuracy, concentrate on a narrow range of mathematics, and provide limited evidence of robustness to equivalent reformulations. We introduce MathAdv, a diagnostic benchmark spanning 13 domains across undergraduate- and graduate-level mathematics. Alongside Lean 4 theorem proving, MathAdv provides up to three auxiliary tasks: multiple-choice questions that probe mathematical knowledge, fill-in-the-blank problems that isolate informal reasoning, and expert-crafted transformations that test robustness to problem presentation. Our evaluation of contemporary theorem provers yields four findings: formalization remains a major bottleneck; performance varies substantially across mathematical domains; natural-language guidance helps general-purpose LLMs but can hinder proof-specialized models; and mathematically equivalent reformulations expose substantial robustness limitations. Together, these results show how component-wise evaluation can reveal model capabilities and failure modes that aggregate theorem-proving accuracy obscures. The dataset and evaluation scripts are available at https://github.com/margotyjx/MathAdv.git.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25449v2제출 시각 미확인
  2. arXiv:2608.25449v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.