h1: 자동 정리 증명에서 맛보는 쓰라린 교훈
h1: A Taste of the Bitter Lesson in Automated Theorem Proving
한국어 초록
비형식 수학에서의 진전은 주로 최첨단 언어 모델의 사고 연쇄(chain-of-thought)와 에이전트적 추론을 확장하는 데서 나온 반면, 형식 정리 증명은 계획 수립, 분해, 특화된 증명기 조율과 같이 이러한 모델을 둘러싼 사람이 설계한 워크플로에 점점 더 의존해 왔다. 이는 쓰라린 교훈(bitter lesson)에 관한 질문을 제기한다. 테스트 시점 연산을 확장하는 단순한 에이전트 루프가 이러한 워크플로에 필적할 수 있는가? 형식 검증은 연구 수준의 수학을 만들어 내는 최첨단 모델을 따라가도록 확장되어야 하므로 이 답은 중요하지만, 새로운 워크플로의 이득은 더 강한 모델이나 더 많은 연산과 뒤섞이는 경우가 많아 이 문제를 해결하는 경우는 드물다. 우리는 모델에 Lean 4와의 효율적인 인터페이스를 제공하고, 분해나 탐색 구조를 강제하지 않으면서 검증기 피드백과 자기 성찰을 통해 모델이 계속 작업하도록 하는 단순한 하네스인 h1으로 이 질문을 연구한다. h1은 PutnamBench, FATE-X, FormalConjectures100-Solved에서 최고 수준의 결과를 달성하고, FormalConjectures의 미해결 문제 8개를 해결하며, 동일한 모델 조건에서 Goedel-Architect와 AlphaProof Nexus 같은 특화 워크플로와 대등하거나 더 우수한 성능을 보인다. 또한 단 한 번의 시도(pass@1)로도 미해결 문제를 풀 수 있도록 확장되는 경우가 많다는 놀라운 결과를 보여 준다. 어블레이션과 Claude Code, AxProverBase와의 동일 모델 비교를 통해, 단순함만으로는 충분하지 않으며 효율적인 Lean 인터페이스가 비용과 해결률을 크게 좌우한다는 것을 확인했다. 따라서 우리는 향후 연구에서 워크플로를 규정하기 전에 효율적인 실행 피드백을 갖추고 최첨단 모델을 평가할 것을 권고하며, 그러지 않으면 쓰라린 교훈을 겪을 위험이 있다.
원문 초록
While progress in informal mathematics has come largely from scaling the chain-of-thought and agentic reasoning of frontier language models, formal theorem proving has increasingly relied on human-designed workflows around these models, such as planning, decomposition, and orchestrating specialized provers. This raises a bitter-lesson question: can a simple agentic loop that scales test-time compute match these workflows? The answer matters as formal verification must scale to keep up with frontier models producing research mathematics, yet new workflows rarely settle it, as their gains are often confounded with stronger models or more compute. We study this question with h1, a simple harness that gives a model an efficient interface to Lean 4 and keeps it working through verifier feedback and self-reflection, without imposing a decomposition or search structure. h1 reaches state-of-the-art results on PutnamBench, FATE-X, and FormalConjectures100-Solved, settles eight open problems in FormalConjectures, and, at matched models, matches or outperforms specialized workflows such as Goedel-Architect and AlphaProof Nexus, surprisingly showing that a single attempt (pass@1) can often scale to solve open problems. Through ablations and matched-model comparisons with Claude Code and AxProverBase, we find that simplicity alone is not enough: an efficient Lean interface largely determines cost and solve rate. We thus recommend that future work evaluate frontier models with efficient execution feedback before prescribing workflows, at the risk of bitter lessons.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.35962v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.