Diffusion-Proof: 자기회귀 생성을 넘어선 형식적 정리 증명을 위한 방법
Diffusion-Proof: Recipe for Formal Theorem Proving Beyond Auto-Regressive Generation
한국어 초록
최근 대규모 언어 모델(LLM)의 형식적 수학적 추론 능력을 향상시키는 것은 수학 및 컴퓨터 과학 커뮤니티 모두에서 중요한 초점이 되었습니다. 최첨단 자기회귀(AR) LLM을 사용한 형식적 정리 증명에서 상당한 진전이 이루어졌지만, 이러한 모델들은 본질적인 한계를 겪고 있습니다. 다음 토큰 예측 생성 방식은 장거리 일관성의 어려움과 긴 시퀀스에서의 오류 누적으로 인해 최적이지 않은 성능을 초래할 수 있습니다. 다중 토큰 블록을 반복적으로 노이즈 제거하여 텍스트를 생성하는 디퓨전 LLM(dLLM)의 최근 발전은 유망한 대안을 제공합니다. 그러나 장거리 일관성 유지가 중요한 형식 수학 분야에 dLLM을 적용하는 것은 대부분 연구되지 않았습니다. 위의 과제를 해결하기 위해, 우리는 형식적 정리 증명을 위해 dLLM을 학습하고 적용하는 최초의 프레임워크인 **Diffusion-Proof**를 제안합니다. 우리의 프레임워크는 두 가지 모델에 대한 학습(training) 및 추론(inference) 방법을 포함합니다. 첫 번째는 장거리 일관성 있는 전술(tactic) 사용을 통해 전체 증명 작성을 수행하는 *dLLM-Prover-7B*입니다. 두 번째는 새로운 대규모 블록 기반 디퓨전 교정 모델인 *dLLM-Corrector-7B*입니다. 이 모델은 dLLM의 채워 넣기(in-filling) 기능을 활용하여 양방향 정보를 사용한 국소적 증명 교정을 수행합니다. 광범위한 실험을 통해 **Diffusion-Proof**가 동일한 데이터셋(dataset)에서 학습된 AR LLM 기준선(baseline)보다 상대적으로 유의미하게 우수한 성능을 보임을 입증했습니다. **Diffusion-Proof**는 기준선(baseline) 대비 ProofNet-Test에서 **1.61%**, MiniF2F-Test 벤치마크에서 **6.14%**의 절대적 향상을 달성했습니다. 특히, **Diffusion-Proof**는 더 고급화된 사고 모델인 DeepSeek-Prover-V2-7B가 해결하지 못한 IMO 문제 하나를 성공적으로 해결하여, 형식적 정리 증명에서 dLLM의 독특한 장점을 보여주었습니다.
원문 초록
Enhancing the formal math reasoning capabilities of Large Language Models (LLMs) has become a key focus in both mathematical and computer science communities in recent years. While significant progress has been made in using state-of-the-art Auto-Regressive (AR) LLMs for formal theorem proving, these models suffer from inherent limitations. Their next-token prediction generation methods may yield suboptimal performance due to the challenges of long-range coherence and the compounding of errors over long sequences. Recent advancements in diffusion LLMs (dLLMs), which generate text through iterative denoising of a multi-token block, offer a promising alternative. However, the application of dLLMs to formal mathematics, where maintaining long-range coherence is critical, remains largely understudied. To address the challenges above, we propose **Diffusion-Proof**, to the best of our knowledge, the first framework to train and apply dLLMs for formal theorem proving. Our frameworks contain training and inference methods for two models. The first one is *dLLM-Prover-7B*, which performs whole-proof writing with long-range coherent tactic usage. The second one is *dLLM-Corrector-7B*, which is a novel large block diffusion-based correction model. It leverages the in-filling capabilities of dLLMs to perform local proof correction using bi-directional information. Extensive experiments demonstrate that **Diffusion-Proof** relatively significantly outperforms the AR LLM baseline trained under the same dataset. **Diffusion-Proof** achieves an absolute improvement of **1.61%** on ProofNet-Test and **6.14%** on MiniF2F-Test benchmarks compare to the baseline. Notably, **Diffusion-Proof** successfully resolves one IMO problem that more advanced thinking model DeepSeek-Prover-V2-7B could not solve, showcasing the unique advantage of dLLMs in formal theorem proving.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19315v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
SqueezeBench: 포화에 강건한 수학적 능력 평가
SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability
AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.
MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습
MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.
올림피아드 에이전트의 인간화: Solve, Review, Wiki, Verify를 활용한 올림피아드 문제 해결용 다중 세션 워크플로
Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify
대규모 언어 모델(LLM) 에이전트는 장기적인 과학 및 올림피아드 과제에서 빠르게 발전하고 있습니다. 최근 시스템들은 나비에-스토크스(Navier--Stokes) 문제에 대한 Lean 정형화 해법과 에르되시 추측(Erdős Conjectures) 데이터베이스의 4개 미해결 문제에 대한 자율적 해법을 제시했습니다. 그러나 두 시스템 모두 기반 모델과 완전한 추론 스택을 동시에 공개하지는 않았습니다. 더 넓게 보면, 단일 에이전트 세션은 고난도 문제에서 여전히 취약합니다. 초기 오류가 전파될 수 있고, 도메인 지식 부족으로 진행이 중단될 수 있으며, 겉보기의 성공이 원래 과제에 대한 오해나 조건 완화를 감추고 있을 수도 있습니다. 본 연구에서는 상호보완적인 세 가지 피드백 채널을 통해 다중 에이전트 세션을 조율하는 공개 플로우 수준 프레임워크인 HOA(Humanize Olympiads Agent)를 소개합니다. 첫째, 독립적인 검토자(reviewer)가 각 후보 해법을 평가하고 실행 가능한 피드백을 제공합니다. 둘째, 구조화된 위키가 모델 사전학습에서 누락되었거나 신뢰할 수 없는 과제 특화 지식을 제공합니다. 셋째, 검증기(verifier)가 생성된 Lean 증명을 신뢰할 수 있는 문제 명제와 대조하여 확인합니다. GPT-5.6 Sol을 적용한 HOA는 IMO, IPhO, IOI 2026에서 만점을 기록하고, IChO 2026 문제 세트에서 만점에 근접한 점수를 얻었으며, PutnamBench의 672개 문제 전체(100%)를 해결했습니다. Lean-Eval 리더보드에서 HOA는 304개 문제 중 251개(82.6%)를 해결하여 1위를 기록했습니다. 나아가 오픈 모델을 활용해 HOA를 평가했습니다. Kimi-K3를 사용했을 때 HOA는 IMO, IPhO, IOI에서 만점을 달성하고 IChO에서 97.1%의 금메달 수준 점수를 획득했습니다. 이러한 결과는 IMO와 IPhO에서 폐쇄형 GPT-5.6 Sol + /Goal 기준선과 거의 일치하는 동시에 IChO와 IOI에서는 이를 능가하여, 체계적인 피드백이 기본 모델 역량의 상당한 격차를 해소하는 데 기여할 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.