StochBench: Lean 기반 확률과정 분야 특화 벤치마크
StochBench: A Domain-Specific Benchmark for Stochastic Processes in Lean
한국어 초록
대규모 언어 모델(LLM)을 이용한 형식 정리 증명(formal theorem proving)의 주요 벤치마크는 IMO와 Putnam 같은 수학 경시대회 문제에서 추린 소규모 모음이어서, 특정 분야의 응용을 제대로 대표하지 못한다. 본 논문은 다양한 추상화 수준의 대학원 수준 확률과정 문제 450개로 구성된 Lean 4 벤치마크 StochBench를 소개하며, 각 문제는 자연어 원문과 짝을 이룬다. Mathlib에서 상대적으로 덜 다루어지는 분야를 대상으로 하는 StochBench는 유한 및 가산 마르코프 연쇄, 갱신 과정, 랜덤 워크, 마팅게일, 정지 시간, 대기열, 브라운 운동, 확률 미적분, 약수렴(weak convergence), 그리고 푸아송 및 연속 시간 마르코프 과정을 포괄한다. Opus 4.8 기반의 에이전트는 문제당 15분의 제한 시간 조건에서 34.9%(157/450)의 증명 성공률을 달성했다. StochBench는 도메인 특화 응용수학을 더 잘 대표하면서도, 고급 증명기(prover)에게 여전히 도전적인 과제로 남아 있다.
원문 초록
Leading benchmarks for formal theorem proving with large language models are small collections drawn from competition math, such as the IMO and Putnam, that poorly represent field-specific applications. We introduce StochBench, a Lean 4 benchmark of 450 graduate stochastic-processes problems at varying abstraction levels, each paired with its natural-language source. Addressing a field underrepresented in Mathlib, it covers finite and countable Markov chains, renewal processes, random walks, martingales, stopping times, queues, Brownian motion, stochastic calculus, weak convergence, and Poisson and continuous-time Markov processes. Our Opus 4.8-based agent achieves a 34.9% proof rate (157/450) under a 15-minute per-problem limit. StochBench better represents domain-specific applied mathematics while remaining challenging for advanced provers.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.09264v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.