arXiv:2611.21299v1 cs.AI

Turing Agent: 수학 연구를 위한 에이전트 기반 형식 검증

Turing Agent: Agentic Formal Verification for Mathematical Research

Yang Chen, Qianyi Wang, Ronghui Yang, Zhanhao Li, Yu Cong, Chen Zhang, Hangfan Zhang, Shao Zhang, Shuai Li, Toru Takisaka, Chao Xu, Yi Zhou, Zhihao Tang, Xiao Wang, Bo Zhang 외 1명

제출 2026-11-16

한국어 초록

대규모 언어 모델(LLM)은 벤치마크 문제 해결을 넘어 최전선의 연구 문제에 도전하며 수학적 발견을 빠르게 발전시키고 있다. 이 발전으로 증명이 대량으로 만들어지는 시대가 열리면서 근본적인 문제가 생겼다. 늘어나는 AI 생성 증명의 정확성을 어떻게 확인하고, 이를 기계로 검증한 신뢰할 수 있는 수학 지식으로 바꿀 수 있는가? 본 연구는 연구 수준 수학의 종단 간 형식 검증을 조율하도록 설계한 에이전트 실행 환경 Turing Agent를 소개한다. 두 수준의 아키텍처는 정리 형식화 에이전트와 증명 형식화 에이전트를 통합한다. 구조화된 증명 분해, 병렬 검증, 축적된 증명 경험, 선택적 의미 검토를 활용한다. 이론 컴퓨터과학(TCS) 연구자와의 협력을 바탕으로, 복잡한 양화와 의존 관계, 엄격한 의미적 요구를 갖는 특히 어려운 TCS 영역을 중심으로 평가했다. GLM-5.3과 DeepSeek-V4-Pro를 사용해 직접 생성 및 Codex CLI와 Claude Code 등 범용 코딩 실행 환경과 비교했다. Turing Agent는 Formal TCS Bench에서 원문에 충실한 형식화 성공률 약 57~62%를, RLMEval의 TCS 중심 하위 집합에서는 전체 pass@1 83%를 달성했다. 특히 DeepSeek 기반 Turing Agent는 OpenAI의 2026년 10월 문제 모음에서 이전에 해결되지 않은 세 가지 TCS 과제의 형식 검증을 완료했다. 특히 어려웠던 문제 하나에는 형식적으로 검증한 보조 명제 약 100개가 필요했다. 또한 형식화 과정을 직접 탐색하고 개선하는 중에 더 간단한 대안 증명을 찾거나, 원래 증명에서 불필요한 의존을 드러내거나, 재사용 가능한 수학 지식을 검증의 부산물로 생성할 수 있다.

원문 초록

Large language models (LLMs) are rapidly advancing mathematical discovery, moving beyond benchmark-level problem solving to tackle frontier research problems. This progress is ushering mathematics into an era of proof abundance, raising a fundamental challenge: how can we ensure the correctness of the ever-growing volume of AI-generated proofs and transform them into trustworthy, machine-verified mathematical knowledge? We introduce Turing Agent, an agent harness designed to orchestrate end-to-end formal verification of research-level mathematics. Its wo-scale architecture integrates theorem formalization and proof formalization agents, empowered by structured proof decomposition, parallel verification, accumulated proof experience, and selective semantic review. Leveraging our collaborations with theoretical computer science (TCS) researchers, we focus our evaluation on TCS, a particularly demanding domain characterized by intricate quantification, complex dependencies, and stringent semantic requirements. Against direct generation and general-purpose coding harnesses, including Codex CLI and Claude Code, Turing Agent achieves approximately 57-62% faithful formalization success on Formal TCS Bench and 83% overall pass@1 on a TCS-focused subset of RLMEval, using GLM-5.3 and DeepSeek-V4-Pro. Notably, Turing Agent, built on DeepSeek, successfully completes the formal verification of three previously unresolved TCS tasks from OpenAI's October 2026 collection. One particularly challenging TCS problem required about a hundred formally verified auxiliary claims. Moreover, by actively exploring and refining the formalization process, Turing Agent can uncover simpler alternative proofs, expose unnecessary dependencies in original proofs, and generate reusable mathematical knowledge as a byproduct of verification.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21299v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.