신뢰할 수 있는 증명 검증은 고난도 수학적 추론에 대한 AI 시스템의 학습(training)과 평가(evaluation)에서 여전히 병목 현상으로 남아 있습니다. Lean과 같은 언어로 작성된 완전한 형식적 증명(fully formal proofs)은 모호하지 않고 모듈화되어 있어 검증하기 쉽습니다. 그러나 대부분의 증명, 특히 AI 시스템이 작성한 증명은 두 가지 특성을 모두 갖추지 못했으며, 이를 형식 언어로 번역하는 것은 많은 프론티어 수학 환경에서 여전히 어려운 과제입니다. 본 논문에서는 자연어의 유연성을 유지하면서도 형식적 증명의 모듈성과 정밀성을 포착하는 증명 형식인 의사 형식화(Pseudo-Formalization, PF)를 제안합니다. 의사 형식적 증명은 독립적인 모듈들로 분해되며, 각 모듈은 전제, 결론 및 증명을 자연어로 명시합니다. 일반 자연어 증명의 정확성을 검증하기 위해, 대규모 언어 모델(LLM)이 이를 의사 형식적 표현으로 변환한 다음 각 모듈을 독립적으로 검증하는 블록 검증(Block Verification, BV) 알고리즘을 사용합니다. 올림피아드 및 연구 수준의 수학을 아우르는 두 가지 벤치마크(benchmark)에서 PF+BV를 평가한 결과, 오류 발견 정밀도(precision)와 재현율(recall) 측면에서 LLM-as-a-judge 베이스라인을 파레토 지배(pareto-dominates)함을 확인했습니다. 향후 연구를 지원하기 위해 연구 수준의 증명 검증 벤치마크인 ArxivMathGradingBench를 공개합니다.
Theoria는 AI 시스템의 추론 결과를 검증하기 위한 아키텍처로, 후보 답변을 타입이 지정된 상태 전이(state transition) 시퀀스로 재작성하고 각 전이에 인용·계산·문제 조건 중 하나의 명시적 근거를 요구하는 "변경 완전성(completeness-of-change)" 불변식을 적용해 숨겨진 전제가 검증 없이 통과되는 것을 방지한다. HLE-Verified Gold 벤치마크에서 91.4%의 정밀도를 달성했으며, 적대적으로 조작된 증명 탐지에서 홀리스틱 LLM 판정 방식(83.2%) 대비 94.7%의 탐지율을 기록해 특히 숨겨진 전제와 조작된 인용 오류 클래스에서 유의미한 우위를 보였다.
대규모 언어 모델(LLM)은 고등학교 및 올림피아드 수준의 수학에서 놀라운 성능을 달성했지만, 고급 수학에 대한 능력은 아직 충분히 이해되지 않고 있다. 기존 벤치마크는 적용 범위와 평가 세분성 모두에서 부족함을 드러낸다. 학문 분야 커버리지가 제한적이고 최종 답안의 정확성이나 거친 판단에 의존하는 경우가 많아, 추론 과정의 타당성이 제대로 평가되지 않는다. 이러한 격차를 해소하기 위해 우리는 고급 수학적 추론 능력을 평가하도록 설계된 벤치마크 스위트인 AdvancedMathBench를 소개한다. 핵심 증명 생성 벤치마크인 ProverBench는 학부 및 박사 자격시험 수준에 걸친 296개의 문제를 포함한다. 증명의 신뢰할 수 있는 평가를 위해, 우리는 대규모 전문가 어노테이션으로 학습된 전용 자동 검증 파이프라인을 개발하여 정확성 판정과 증명 오류에 대한 세밀한 평가를 모두 제공하며, 이 파이프라인은 보류된 증명 궤적에서 인간 전문가와 높은 일치도를 보인다. 또한 모델이 증명 유효성을 올바르게 판단하고 타당한 검증 근거를 제공할 수 있는지 평가하기 위해, 전문가 정답과 짝지어진 888개의 모델 생성 증명 궤적으로 구성된 VerifierBench를 추가로 소개한다. 실험 결과, AdvancedMathBench는 최전선 모델들에게도 여전히 도전적임을 보여준다. 증명 생성에서 가장 우수한 모델인 GPT-5.5-xhigh는 UGD 및 QE 분할에서 각각 75.8과 66.1만을 달성하여, 고급 수학 증명 구성에 상당한 개선 여지가 있음을 나타낸다. 증명 검증에서는 최고 모델이 Balanced F1 65.1에 그치며, 모델들이 전반적으로 낮은 진음성률(true negative rate)을 보여 핵심 오류 탐지가 여전히 주요 병목임을 시사한다.