컴퓨터 과학을 위한 논리학의 이론 규모 자동 형식화
Theory-Scale Auto-Formalization of Logic for Computer Science
한국어 초록
자동 형식화는 확장 가능한 형式 검증에 핵심적이지만, 기존 진전은 대체로 개별 명제에 집중되어 있다. 수백 개의 상호 의존적인 정의, 보조정리, 정리를 일관되게 번역하는 이론 규모 자동 형식화는 일관성, 충실성, 확장성, 정확성의 문제로 인해 여전히 해결되지 않았다. 본 논문에서는 『컴퓨터 과학을 위한 논리학』에 기반한 독립형 이론 규모 벤치마크인 LCS-Bench를 소개한다. LCS-Bench는 개념 그래프, 형식 시그니처 계획, 이슈 추적, 반례 탐색을 동반한 sorry 채우기를 활용하고 인간 전문가의 충실성 검토로 보완하는 새로운 반자동 에이전트 파이프라인을 통해 구축되었다. 그 결과물은 교재 항목 327개, Lean 선언 4,076개 이상, 85K줄이 넘는 Lean 코드를 포괄한다. 이 데이터셋은 자동 형식화와 정리 증명 능력의 서로 다른 측면을 측정하는 다섯 가지 평가 벤치마크 트랙을 자동으로 도출하는 데이터 엔진을 통해 폭넓은 평가를 지원한다. 또한 정의적 동등성 검사기를 갖춘 새로운 평가 프로토콜을 제안하여 더 세밀하고 충실한 평가를 가능하게 한다. 17개 모델에 대한 폭넓은 평가를 통해 (1) LCS-Bench가 고품질이며 일관되고 충실하다는 점, (2) 최첨단 모델이 자동 형식화 과제에서 20.3%만을 달성할 정도로 이 벤치마크가 도전적이라는 점, (3) 분석 결과가 이론 규모 자동 형식화에 관한 핵심적인 발견을 드러내며 향후 연구의 유망한 방향을 시사한다는 점을 보인다.
원문 초록
Auto-formalization is critical for scalable formal verification, but existing progress largely focuses on isolated statements, while theory-scale auto-formalization, which coherently translates hundreds of interdependent definitions, lemmas, and theorems, remains open due to challenges in consistency, faithfulness, scalability, and correctness. In this paper, we introduce LCS-Bench, a stand-alone, theory-scale benchmark based on Logic for Computer Science. LCS-Bench is built through a novel semi-automated agentic pipeline that leverages concept graphs, formal signature planning, issue tracking, sorry-filling with counter-example search, complemented by faithfulness review from human experts. The resulting artifact covers 327 textbook items, over 4,076 Lean declarations, and more than 85K lines of Lean code. The dataset supports broad evaluation through a data engine that automatically derives five tracks of evaluation benchmarks, measuring different aspects of auto-formalization and theorem-proving capabilities. We also introduce a novel evaluation protocol featuring definitional equivalence checkers, enabling more fine-grained and faithful assessment. Through extensive evaluation on 17 models, we demonstrate that (1) LCS-Bench is of high quality, consistent, and faithful; (2) the benchmark is challenging, with state-of-the-art models achieving only 20.3% on auto-formalization tasks; and (3) our analysis reveals key findings regarding theory-scale auto-formalization and suggests promising directions for future work.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26525v2제출 시각 미확인
- arXiv:2606.26525v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.