가중치 공개 LLM이 커널 검증을 통과하는 Coq 증명을 생성할 수 있는가? 예비 연구
Can Open-Weight LLMs Produce Kernel-Verified Coq Proofs? A Pilot Study
한국어 초록
대규모 언어 모델(LLM)은 수학적 증명과 유사한 텍스트를 생성할 수 있지만, 유사성이 정확성을 입증하지는 않습니다. 형식적 증명 검증기(formal proof checker)는 각 증명 단계가 확립된 논리적 규칙을 따르는지 검증합니다. Coq은 시스템이 수용할 수 있는 증명 단계를 정의하는 논리 체계인 유도적 구성의 계산법(Calculus of Inductive Constructions)에 규칙의 기반을 둡니다. 본 예비 연구에서는 실제 Coq 프로젝트에서 파생된 벤치마크인 CoqStoq의 동일한 100개 정리를 대상으로 6개의 가중치 공개 LLM을 평가했습니다. 각 LLM은 온도를 0으로 설정하여 정리당 1회의 시도 기회를 부여받았으며, Coq은 정리의 원래 프로젝트 환경에서 제안된 모든 증명을 검사했습니다. Coq 커널이 수락한 경우에만 증명이 성공한 것으로 간주했습니다. Gemma 4는 100개 정리 중 12개를 검증했고, Llama 3.3은 8개, DeepSeek Coder V2 Lite는 1개를 검증했습니다. Qwen 3.5, Mistral Small 3.1, GPT-OSS는 하나도 검증하지 못했습니다. 21건의 성공적인 모델-정리 결과는 15개의 서로 다른 정리를 포괄했으며, 그중 11개는 표준 Coq 전략(tactics)의 기준선으로는 해결되지 않은 것이었습니다. 검증된 모든 정리는 인간이 작성한 참조 증명의 길이가 짧거나 중간 정도였으며, 참조 증명이 긴 정리를 검증한 모델은 없었습니다. 증명 길이에 대한 분석은 탐색적이었으므로, 이러한 패턴이 증명 길이가 차이를 유발했음을 입증하지는 않습니다. 최소 1건 이상 성공한 세 모델의 경우, 검증된 증명당 총 생성 비용은 출력 토큰 741개에서 36,193개, 14.9초에서 178.0초, 총 GPU 시간 0.0167시간에서 0.2000시간 범위였습니다. 검증된 증명이 없는 모델에 대해서는 이러한 비율을 계산할 수 없었습니다. 600회의 시도 전반에서 모델들은 21개의 커널 검증 증명을 생성하여 3.5%의 전반적인 성공률을 보였습니다. 본 연구는 모델 간의 기술적(descriptive) 차이를 보고하지만, 한 모델이 다른 모델보다 우수한지 통계적으로 검정하지는 않습니다. 따라서 이 결과가 6개 모델의 보편적인 순위를 확립하는 것은 아닙니다.
원문 초록
Large language models (LLMs) can generate text that resembles a mathematical proof, but resemblance does not establish correctness. A formal proof checker verifies whether each proof step follows established logical rules. Coq bases its rules on the Calculus of Inductive Constructions, a logical framework that defines which proof steps the system may accept. This pilot study evaluated six open-weight LLMs on the same 100 theorems from CoqStoq, a benchmark derived from real Coq projects. Each LLM received one attempt per theorem with the temperature set to 0, and Coq checked every proposed proof in the theorem's original project environment. We counted a proof as successful only if the Coq kernel accepted it. Gemma 4 verified 12 of 100 theorems, Llama 3.3 verified 8, and DeepSeek Coder V2 Lite verified 1. Qwen 3.5, Mistral Small 3.1, and GPT-OSS verified none. The 21 successful model-theorem results covered 15 distinct theorems, 11 of which were not solved by a baseline of standard Coq tactics. All verified theorems had short or medium human-written reference proofs; no model verified a theorem with a long reference proof. Because the proof-length analysis was exploratory, this pattern does not establish that proof length caused the difference. For the three models with at least one success, the total generation cost per verified proof ranged from 741 to 36,193 output tokens, 14.9 to 178.0 seconds, and 0.0167 to 0.2000 aggregate GPU hours. We could not calculate these ratios for models with no verified proofs. Across 600 attempts, the models produced 21 kernel-verified proofs, giving an overall success rate of 3.5%. The study reports descriptive differences among the models but does not statistically test whether one model outperforms another. Therefore, the results do not establish a universal ranking of the six models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.05420v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.