Faults in Our Formal Benchmarking: Dataset Defects and Evaluation Failures in Lean Theorem Proving
원문 초록
Benchmarks for LLM-assisted theorem proving in Lean are often treated as intrinsically reliable because every solved instance comes with a machine-checked proof. However, the kernel only checks that a proof establishes a \emph{formal} statement; it does not verify that the statement faithfully encodes the intended informal problem, nor that evaluation harnesses are robust to trivial or adversarial solutions. We audit five widely used Lean theorem-proving benchmarks and their forks, using corpus-scale static checkers to surface 4,833 findings, including 398 mechanically certified issues such as counterexamples, vacuous theorems, and unsound axioms. We also document semantic defects such as missing hypotheses, problem simplification, incomplete or incorrect translations, and Lean-specific specification hazards. Beyond dataset construction, we survey evaluation-time failure modes and show, on corrected subsets, that defects can both inflate and deflate reported prover scores. We propose a fault taxonomy, a suite of automated checkers and recall-oriented semantic audit prompts, and release standards to guide the creation of formal math datasets and to make evaluation more reproducible and trustworthy. Our checkers, audit prompts, and corrected dataset snapshots are available at https://github.com/Shashi456/atp-checkers.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29493v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SqueezeBench: 포화에 강건한 수학적 능력 평가
SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability
AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
수학 문제에서 Qwen3-8B가 Llama-3.1-8B를 검토하면 정확도가 33.2점 상승하지만, Qwen3-8B 단독의 정확도가 그 결과보다 6.4점 더 높다. 다른 모델의 답을 검토하는 방식은 보통 생성 모델 대비 향상 폭으로 평가된다. 본 연구는 이러한 평가가 검증(verification)과 능력 전이(capability transfer)를 혼동한다는 점을 보인다. 검증은 어느 한 모델 단독보다 더 높은 정확도를 더하는 것이고, 능력 전이는 더 강한 검토 모델이 스스로도 낼 수 있었던 답을 제공하는 것이다. 수학, 지식, 코드, 추론 영역에서 12개 오픈 웨이트 모델(3B~72B)의 48개 쌍에 대해 더 강한 모델 단독과 비교해 측정한 결과, 검토 방식이 이를 능가하는 경우는 96개 검토 방향 중 9개에 불과했으며, 능력 격차가 클수록 성능이 더 나빠졌다. 그 원인은 앵커링이다. 검토 모델이 대체로 생성 모델을 따라가면서 자신의 올바른 답을 버린다. 검토 방식은 더 강한 모델 단독 대비 2.6~2.8배의 비용이 드는 반면, 동일한 두 번의 호출을 사용하는 선택기(selector)는 검토 방식보다 2.7~4.2점 더 정확하면서 비용도 더 저렴하다. 검증에 관한 연구는 생성 모델 대비 향상 폭만이 아니라 더 강한 모델 단독의 성능도 함께 보고해야 한다.
LLM을 에이전트로 활용하기: 비용은 얼마인가?
Harnessing LLMs as Agents: What Does It Cost?
언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
AI 지원 수학적 발견을 위한 연속 그래프 메모리와 커뮤니티 인프라
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
수학적 발견에는 부분적인 아이디어와 그 재사용을 뒷받침하는 증거를 보존하는 것이 필요하다. 본 논문은 모델이 수용한 주장과 의존 관계를 선별된 탐색과 분리하는 연속 그래프 메모리를 갖춘 연구 하니스인 Ansatz와, 이러한 작업을 검사하고 안내하며 점검하기 위한 커뮤니티 플랫폼인 Ansatze를 제시한다. First Proof에서 Ansatz는 10문제씩 두 배치 각각에서 국소 검증기 종결 9건을 기록했으며, Second Batch의 부분 결과 하나도 연구의 기준에 따라 통과로 계산되었다. 이러한 모델 평가 결과에는 지속된 탐색이 포함되어 있으며 전문가 검증과는 다르다. 구성 요소 연구와 재검토는 불일치와 그 의존 관계의 파급 범위를 드러낸다. 미해결 문제 탐구에서는 후보 결과가 도출되었으며, 다섯 건의 Lean 형식화가 보고되었다. 이 플랫폼은 문제 발견, 연구 기록, 원고 분석, 형식 검증을 연결하면서 서로 구별되는 증거 상태를 보존한다. 이러한 시스템들은 지속적인 탐구와 검사 가능한 기여를 통해 인간-AI의 누적적 연구를 뒷받침한다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
외부 도구를 호출하는 LLM 에이전트는 도구 호출이 시간 초과될 때 어떻게 할지 결정해야 한다. 재시도는 중복 부작용의 위험이 있고, 재시도하지 않으면 작업이 미완료로 남을 수 있다. 본 연구는 도구를 사용하는 LLM 에이전트의 재시도 결정과 실패 복구를 위한 평가 프로토콜인 RetryBench를 제시한다. 각 결정은 관측과 일치하는 모든 숨겨진 실행 세계에서 재생하여 재시도 허용 여부(재시도가 멱등성 키 보장이나 미실행 증명으로 정당화되는가?), 확정된 효과(중복과 누락), 완료 여부에 대해 채점된다. 네 가지 합성 소프트웨어 엔지니어링 과제에서 두 가지 통제된 프롬프트 민감도 연구(1,728건의 결정)를 수행한다. 연구 1(멱등성 키 설명): 계약을 고정한 상태에서 GPT-5.6 Luna는 추가 키가 "Candidate recovery key"로 설명될 때 40건 중 10건에서 유효한 멱등성 키를 재사용하지만, "Alternative key string"으로 설명될 때는 40건 중 39건에서 재사용한다. 계열별로 세 가지 표현을 추가했을 때 격차는 27/120 대 113/120이다. GPT-5.6 Sol과 Terra는 상한에 도달해 있다(40/40). 연구 2(행동 순서): 조회 보장이 불충분하게 명시된 조건에서, 재시도가 먼저 나열될 때 GPT-5.6 Terra와 GPT-5.4의 재시도율이 주로 두 과제에서 17~27 퍼센트포인트 낮아지며(선택지 순서 편향), 어느 행동이 더 나은지에 대해서는 주장하지 않는다. 연구 결과는 연구자가 선택한 표현, 네 가지 과제, 고정되지 않은 모델 별칭에 한정된다. 코드와 모든 모델 응답을 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.