PyTorchKR Papers

최신 논문

총 15편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02792v1cs.AI

Law And Order: 세법의 자동 정형화

Law And Order: Tax Law Autoformalization

법률 시스템은 점점 더 소프트웨어를 통해 구현되고 있으나, 법률 텍스트를 정확한 기호적 표현(symbolic representation)으로 변환하는 확장 가능한 방법은 여전히 미흡한 실정입니다. 본 연구에서는 양식과 신고 지침이 산술, 분기, 재귀, 표 추론(tabular reasoning)을 포함하는 대규모 계산 구조를 정의하는 세법을 통해 이 문제를 탐구합니다. 저자들은 세무 양식과 지침을 실행 가능한 기호 프로그램으로 자동 정형화하는 뉴로-심볼릭(neuro-symbolic) 프레임워크인 Law&Order를 제안합니다. 본 접근법은 법률과 논리 간의 두 가지 대응 관계를 확립합니다. 즉, 셀 및 별지(schedule)와 같은 법률적 구성 요소와 기호적 구성 요소를 정렬하는 구조적 대응(structural correspondence), 그리고 기호적 구성 요소가 그에 대응하는 법률 규정에 명시된 계산을 구현하도록 요구하는 외연적 대응(denotational correspondence)입니다. 본 연구는 대규모 언어 모델(LLM) 기반 합성을 셀 수준의 검증 및 사람이 작성한 OpenTaxSolver 세무 신고서를 활용한 반복적인 국소 오류 수정과 결합합니다. 이후 생성이나 수정 과정에서 전혀 노출되지 않고 독립적으로 작성된 별도의 TaxCalcBench 신고서를 대상으로 결과 정형화를 평가합니다. 가장 뛰어난 LLM도 66%의 정확도에 그친 반면, Law&Order는 51개의 별도 신고서에서 셀 수준 및 양식 수준 100%의 정확도를 달성하여, LLM 단독 사용 대비 확장 가능하고 검증 가능한 대규모 법률 자동 정형화를 위해 LLM 기반 합성과 기호적 검증을 결합하는 방식의 효과성을 입증합니다.

arXiv:2608.20153v3cs.CL

FormalTCS: 대규모 언어 모델의 최전선 형식 이론 전산학 연구 전 과정(End-to-End) 벤치마킹

FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models

대규모 언어 모델(LLM)은 이론 전산학(TCS) 연구 자동화에서 점점 더 큰 잠재력을 보여 왔지만, 기존 벤치마크는 현실적인 연구 환경과는 여전히 거리가 멀다. 본 논문에서는 최전선(frontier)의 end-to-end TCS 연구에 대한 LLM 평가를 위한, 전문가가 검증한 벤치마크인 \ourbenchmark를 소개한다. \ourbenchmark는 2025-2026년 STOC, FOCS, SODA, COLT에 채택된 논문에서 추출한 $143$개의 인스턴스로 구성되며, 논문별 정의, 가정, 증명 의존성을 그대로 보존하고, 전문가가 검증한 Lean 형식화와 증명을 포함한다. 주요 LLM에 대한 평가 결과, 현재 모델들은 전체 연구 파이프라인을 안정적으로 완수하는 데 여전히 크게 못 미치는 것으로 나타났다. 특히 자동 형식화(autoformalization)가 가장 큰 병목이다. 가장 성능이 좋은 모델은 자연어 주장을 형식 정리 명제로 번역하는 과제에서 $11.5$에 그친 반면, 사람이 제공한 형식 명제를 증명하는 과제에서는 Pass@8 기준 $28.6$을 달성했다. \ourbenchmark를 바탕으로, 새로운 주장을 생성하고, 형식화하고, 필터링하고, 증명하는 자동화된 TCS 연구 프레임워크도 추가로 개발한다. 생성된 $64$개의 주장 중 최종적으로 전문가 평가와 증명 검증을 모두 통과한 것은 $6$개에 불과했으며, 이는 형식화 외에도 제한적인 연구 안목(research taste)이 자율적 TCS 연구를 가로막는 또 다른 주요 장벽임을 시사한다.

arXiv:2604.25031v3cs.CL

라운드트립 검증과 수정을 통한 충실한 자동 형식화

Faithful Autoformalization via Roundtrip Verification and Repair

LLM이 자연어를 형식화(formalize)할 때, 그 출력이 원문에 충실한지 어떻게 알 수 있을까? 본 논문은 정답 주석(ground-truth annotation)을 필요로 하지 않는 라운드트립 검증(roundtrip verification) 방식을 제안한다. 이 방식은 문장을 형식화하고, 그 결과를 다시 자연어로 번역한 뒤, 이를 재형식화하여 형식 도구(formal tool)로 논리적 동치성을 검사한다. 두 형식화 결과가 일치하면 이는 충실한 형식화임을 뒷받침하는 증거가 된다. 두 결과가 일치하지 않으면 단계 수준(stage-level) 진단을 통해 오류가 발생한 특정 번역 단계를 국소화하고, 범위 한정 수정 연산자(scoped repair operator)가 해당 단계를 바로잡으려 시도한다. 우리는 두 가지 법령 도메인(텍사스 교통법(Texas Transportation Code)과 텍사스 공원·야생동물법(Texas Parks and Wildlife Code))에서 두 가지 LLM(Claude Opus~4.6과 GPT-5.2)과 세 가지 수정 베이스라인을 사용하여 이 프레임워크를 평가한다. 진단 기반 범위 한정 수정이 가장 효과적인 방법이었으며, 그 효과는 진단 함수의 신뢰성에 좌우된다. 두 도메인과 두 모델 전반에서, 우리의 전체 수정 시스템 하에서 동치성 검사를 통과하지 못한 규칙은 통과한 규칙보다 자연어 추론(NLI) 드리프트(drift)가 1.4배에서 2.5배 더 크게 나타난다.

arXiv:2607.13292v2cs.AI

이론 수준 자동 형식화: 고립된 명제에서 통합 형식 지식 베이스로

Theory-Level Autoformalization: From Isolated Statements to Unified Formal Knowledge Bases

자동 형식화(autoformalization)는 비형식적 자연어를 기계적으로 검증 가능한 형식 언어로 번역한다. 대부분의 연구는 개별 명제에 초점을 맞추지만, 실제 형식화 작업은 본질적으로 이론 수준의 작업이다. 목표 정리를 진술하기조차 하려면 공리, 정의, 보조정리의 전체 연결망이 필요하다. 본 입론(position paper)에서는 이론 수준 자동 형식화를 주장한다. 상호 의존성을 모두 포함한 완전한 이론을 구조화된 라이브러리로 형식화하는 것이다. 우리는 이러한 전환의 의의를 검토하고, 대안적 관점에 대응하며, 미해결 과제를 식별하고, 세 가지 유망한 전진 경로를 제안한다. 자동 형식화에 대한 우리의 서베이는 https://github.com/marcusm117/Awesome-Autoformalization 에서 확인할 수 있다.

arXiv:2607.20503v1cs.AI

LeanFlow: 워크플로우 기반 Lean 자동 형식화 사례 연구

LeanFlow: A Case Study in Workflow-Driven Lean Autoformalization

우리는 수학 논문을 빌드 가능한 Lean 프로젝트로 번역하는 데 특화된 LLM 에이전트 시스템인 LeanFlow를 제시하고 평가한다. 최근 검증기-내-루프(verifier-in-the-loop) 시스템은 대규모 형식 산출물을 생성할 수 있음을 보여주지만, 문서-대-프로젝트 형식화에서 어떤 런타임 메커니즘이 완료, 감사 가능성(auditability), 또는 효율성에 영향을 미치는지는 여전히 불분명하다. 우리는 수론과 측도론의 이전에 형식화되지 않았던 두 편의 수학 논문에 대한 사례 연구를 통해 이 질문을 조사하며, Kimi2.6과 GPT5.5를 사용한 모델, 증명 워크플로우, 도구군 어블레이션(ablation)을 수행하고 작업 결과, API 호출 수, 입력 토큰, 출력 토큰을 보고한다. Kimi2.6에서는 전체 워크플로우가 2000회 호출 예산 내에서 두 문서 수준 프로젝트를 모두 완료하는 반면, 큐 없는(no-queue) 변형은 예산 한도에 도달한다. GPT5.5에서는 모든 문서 수준 변형이 완료되며, 전체 워크플로우가 두 소스 모두에서 가장 낮거나 동률로 가장 낮은 입력 토큰 비용을 보인다. 보완적 보정(calibration)으로, LeanFlow는 RLM25의 PFR 슬라이스에서 75.7% BEq+를 달성하며, GPT5.5 실행에서 ICML 2026 AI for Math TCS 챌린지 프로젝트 다섯 개를 모두 해결한다.

arXiv:2607.19407v1cs.AI

ITPEval: 대화형 정리 증명기 간 형식 번역 벤치마킹

ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers

형식 정리 증명(formal theorem proving)은 기계학습의 최전선 과제로 부상했지만, 생태계는 파편화되어 있다. 증명은 호환되지 않는 시스템들 사이에 고립되어 있어, 학습 기반 증명기(prover)를 위한 학습 데이터와 검증된 결과의 이식성(portability) 모두를 제한한다. 우리는 ITPEval을 제안한다. 이는 Lean 4, Rocq, Isabelle, HOL Light의 네 가지 주요 대화형 정리 증명기(ITP)에 걸쳐—두 가지 서로 다른 논리적 기반(logical foundations)을 아우르며—자동 형식 증명 번역을 평가하는 최초의 벤치마크이다. 우리 벤치마크는 1,560개의 소스 파일과 6,848개의 정리(theorem)로 구성되며, 기초적 번역 난이도를 분리하는 공리화(axiomatized) 파일의 통제 계층(controlled tier)과, API 및 증명 스타일(proof-style) 불일치를 드러내는 실제 라이브러리에서 가져온 생태계 계층(ecosystem tier)으로 조직되어 있다. 우리는 itpeval을 공개한다. 이는 아티팩트(artifact)별 네이티브 검증 의미론(native checking semantics)을 보존하는 상태 격리(state-isolated) 웜 백엔드(warm backends)를 갖춘 통합 다중 ITP 검증 인프라이다. 12개의 방향성 번역 쌍(directed translation pairs)에 대해 5개의 최신 및 오픈 가중치(open-weight) 대규모 언어 모델(LLM)로 명제(statement) 번역과 증명(proof) 번역을 모두 평가한다. 명제 번역은 pass@1 29.1%, 증명 번역은 10.5%에 정점을 찍는다. 통제된 정리는 증명 pass@1 29.7%에 도달하는 반면 생태계 수준 번역은 5.2%로, 라이브러리 불일치(library mismatch)가 지배적 병목임을 확인한다. pass@k 평가에 더해, 결정론적(deterministic) Lean 4 BEq 검사는 검증된 소스-to-Lean 4 miniF2F 명제 번역의 54.0%에 대해 동치(equivalence)를 확립하며, 네이티브 타입 검사(type-checking)만으로는 의미적 충실도(semantic fidelity)를 상당히 과대평가할 수 있음을 보여준다. 자동 형식화(autoformalization)/자동 비형식화(auto-informalization) 왕복(round-trip) 연구에서 Rocq와 HOL Light는 Lean 4와 Isabelle보다 형식화 대상(formalization targets)으로 더 쉽고, 다중 ITP 컨텍스트는 풀링(pooled) Lean 4 성공률을 4.8%에서 10.6%로 향상시킨다. 우리의 벤치마크, 검증 인프라, 평가 파이프라인은 공개된다.

arXiv:2607.19374v1cs.AI

Euclean: Lean에서 통합 검증을 통한 기하 문제 자동 형식화

Euclean: Automated Geometry Problem Formalization with Unified Verification in Lean

최근 형식적 추론(formal reasoning) 시스템은 IMO 수준의 성능에 도달했지만, 여전히 분절된 환경을 남기고 있다. 대수와 정수론은 Lean에서 처리되는 반면, 기하학은 여전히 제한적인 형식적 보장을 갖는 도메인 특화 언어에 의존한다. 이러한 분리는 신뢰 컴퓨팅 기반(trusted computing base)을 확대하고 통합 모델 개발을 저해한다. 기존 Lean 기하학 연구(LeanEuclid, LeanGeo)는 표준 Mathlib와 호환되지 않는 맞춤형 공리 체계를 도입하며, 그 규모가 작아(< 1,100개 문제) 대규모 학습을 제한한다. 그러나 기하학의 네이티브 Mathlib 자동 형식화(autoformalization)는 별도의 과제를 제기한다. 암묵적 도형 가정(예: 위상적 구성과 비퇴성)은 외부 솔버에 위임하기보다 명시적으로 드러내야 하며, 모델은 Mathlib의 작고 빠르게 진화하는 기하학 인프라에 적응해야 한다. 우리는 네이티브 Mathlib에서 기하학을 자동으로 형식화하기 위한 4단계 프레임워크인 Euclean—제약 명시(constraint explication), 구성 고정(configuration anchoring), 형식화 매핑(formalization mapping), 반복적 수정(iterative repair)—을 제시한다. 우리는 Lean에서 가장 큰 기하 형식화 데이터셋인 OMNI-Geometry(768개 경시 문제)와 Numina-Geometry(177,597개 문제)를 구축했다. 인간 평가에서 TOP1 정확도 48.89%, TOP5 정확도 73.33%를 보였다. 우리의 형식화 결과로 Goedel v2를 학습하면 증명 성공률이 13.6%에서 15.1%로 향상되어, 통합 신경망 정리 증명(neural theorem proving)을 위한 데이터셋 품질을 검증한다. 코드 및 데이터셋: https://github.com/tlb-22/Euclean.

arXiv:2607.13303v2cs.SE

자연어 단언의 충실한 자동 형식화

Faithful Autoformalization of Natural Language Assertions

형식 계약(formal contract)은 소프트웨어 테스트와 검증에 필수적이지만, 이를 작성하는 작업은 여전히 노동 집약적이고 오류가 발생하기 쉽다. 대규모 언어 모델(LLM)은 자동 형식화(autoformalization)를 향한 유망한 경로를 제공한다. 자연어 명세로부터 실행 가능한 단언(assertion)을 합성하여 비공식적인 개발자 의도와 형식적이며 실행 가능한 명세 사이의 격차를 메우는 것이다. 우리는 Monty를 제시한다. 이는 단언의 유효성에 대한 기대와 자연어의 모호성이라는 난제를 다루는 단언 자동 형식화 프레임워크이다. 우리의 기법은 새로운 적합성 점수(conformance score) 메트릭과, 형식화된 단언에 대해 코드를 테스트하여 얻은 유효성 점수를 이용해 형식화 결과를 필터링하는 것에 기반한다. 22개의 컬렉션형 Java 클래스에서 파생된 541개의 단언 생성 작업에 대해 접근법을 평가한 결과, 우리 기법이 LLM을 사용해 단언을 순진하게(naively) 변환할 때보다 정답(ground truth)을 더 신뢰성 있게 생성함을 보였으며, 평균 정밀도가 최대 20포인트 향상되었다.

arXiv:2511.09008v2cs.CL

자연어 형식화 및 검증을 위한 뉴로심볼릭 접근

A Neurosymbolic Approach to Natural Language Formalization and Verification

대규모 언어 모델(LLM)은 자연어 해석과 추론에 뛰어나지만, 형식적 정확성에 대한 보장이 없어 엄격한 정책 하에서 운영되는 금융 및 헬스케어와 같은 규제 산업에서의 채택을 제한한다. 이 한계를 해결하기 위해 우리는 Automated Reasoning checks(ARc)를 출시했다. ARc는 (1) 선택적 인간 지도 하에 LLM을 사용해 자연어 정책을 형식화하고 형식화 과정에 대한 세밀한 제어를 가능하게 하며, (2) 추론 시 자동 형식화(inference-time autoformalization)를 사용해 해당 정책에 대해 자연어 진술의 논리적 정확성을 검증하는 공개 서비스이다. ARc는 추론 시 여러 중복 형식화 단계를 수행하고, 형식화 결과의 의미적 동등성을 검사한다. 벤치마크 결과 ARc는 99% 이상의 건전성(soundness)을 달성하며, 논리적 타당성 식별에서 거의 0에 가까운 위양성(false positive) 비율을 보인다. 우리 접근법은 검증 결과를 뒷받침하는 감사 가능한 산출물을 생성하며, 원문을 개선하는 데 활용할 수 있다. ARc는 주요 클라우드 제공업체가 생성형 AI 가드레일에 자동화된 추론(automated reasoning)을 통합한 최초의 상용 서비스이다.

arXiv:2607.07857v1quant-ph

텐서 네트워크 이론의 다중 에이전트 자동형식화

Multi-agent Autoformalization of Tensor Network Theory

전문화된 대규모 언어 모델(LLM) 에이전트 팀이 구조화된 수학적 청사진과 주기적 인간 검토를 통해 행렬곱 상태(matrix-product states)의 기본 정리를 Lean 4 증명 보조기로 자율적으로 형식화하는 에이전트 기반 워크플로를 제시한다. 이 과정에서 Mathlib에 없던 텐서 네트워크 및 양자 정보 라이브러리를 새롭게 구축하였으며, 일부 명제에서는 표준 문헌에 없는 새로운 증명 경로를 탐색하고, 대규모 자동형식화의 주요 병목이 수학적 의도의 일관된 관철임을 밝혔다.

arXiv:2607.04655v1cs.CL

FormalRx: 자동형식화의 의미론적 오류 수정 및 검사

FormalRx: Rectify and eXamine Semantic Failures in Autoformalization

자동형식화(autoformalization)에서 정확한 의미론적 정렬은 형식 수학 추론에 있어 매우 중요하다. 그러나 기존 평가 방식은 불투명한 이진 판정이나 스칼라 점수만을 제공할 뿐, 번역이 어디서 왜 실패하는지에 대한 해석 가능한 통찰을 제공하지 못한다. 이러한 불투명성은 인간의 이해와 자동화 시스템 개선 모두를 심각하게 제한한다. 이 간극을 메우기 위해 우리는 FormalRx를 소개한다. FormalRx는 자동형식화 평가를 블랙박스 판정에서 실행 가능한 피드백으로 전환하는 종합적 진단 평가 프레임워크이다. 핵심에는 SCI 오류 분류 체계(SCI Error Taxonomy)가 있으며, 이는 자동형식화 오류를 엄격한 우선순위 순서에 따라 28개의 세부 범주로 분해하는 계층적 분류(classification) 체계이다. 이 분류 체계를 기반으로 FormalRx는 정렬 판정, 오류 분류, 오류 국소화, 오류 수정이라는 네 가지 핵심 진단 기능을 제공한다. 우리는 세밀한 진단 어노테이션이 포함된 56,287개의 자연어-형식언어(NL-FL) 쌍으로 학습된 진단 모델(model) FormalRx-8B로 이 프레임워크를 구현하고, 최초의 세밀한 진단 벤치마크인 FormalRx-Test를 공개한다. FormalRx-8B는 판정에서 F1 점수 0.88, 분류에서 0.71을 달성하고, 국소화 정확도 0.75, 수정 정확도 0.73을 기록하여 범용 대규모 언어 모델(LLM)과 특화된 베이스라인 모두를 크게 능가한다. FormalRx는 평가와 실행 가능한 통찰을 연결함으로써 자동형식화 시스템의 체계적인 진단과 개선을 가능하게 한다.

arXiv:2606.31134v1cs.AI

Beyond the Library: An Agentic Framework for Autoformalizing Research Mathematics

While Large Language Models (LLMs) have demonstrated exceptional capabilities in mathematical reasoning, they frequently produce subtle errors that evade human detection. Formal mathematical languages like Lean 4 offer mechanical proof checking, strongly motivating the need for autoformalization: the automatic translation of natural language mathematics into verifiable code. Recent trends indicate that general-purpose LLMs, heavily optimized for standard programming, now outperform smaller models explicitly fine-tuned for Lean. Leveraging this shift, we introduce an agentic autoformalization framework powered by general coding LLMs. At the core of our system is an orchestrator that manages a multi-agent pipeline tailored for research-level mathematics. Because cutting-edge research frequently relies on concepts outside the scope of existing libraries like Mathlib, our system dynamically extends necessary type definitions and validates them via a novel Auxiliary Lemma technique before formalizing the primary theorems. We applied our approach to PutnamBench, producing machine-checked Lean proofs for a random sample of 32 problems. Furthermore, we evaluate our system on five papers from the ACM Symposium on Theory of Computing (STOC) spanning combinatorics, communication complexity, mechanism design, and learning theory, successfully formalizing their main theorems and validating the generated formalizations with human experts; for all five we also formalize the proofs alongside the statements, and notably two of them are proved with no axioms beyond Lean's kernel. All of our formalizations are available at https://beyondthelibrary.github.io/formal_arxiv .

arXiv:2606.28013v1cs.CL

신호-커버리지 행렬: 명제 자동 형식화에서 유형 및 의미 오류의 계층화

The Signal-Coverage Matrix: Stratifying Type and Semantic Errors in Statement Autoformalization

대규모 언어 모델(LLM) 자동 형식화(autoformalization)의 헤드라인 유형 정확도(TC%) 향상이 어떤 오류 계층을 실제로 해결하는지 분석하기 위해, Lean elaborator 통과 여부와 의미 동치 판정을 교차한 신호-커버리지 행렬(signal-coverage matrix)을 제안한다. ProofNet#과 MiniF2F-test에서 DeepSeek V4-Pro로 실험한 결과, elaborator 피드백 기반의 세 가지 방법이 달성한 TS 이득의 약 64%는 유형 계층(type stratum) 회복에 기인하며, 의미 계층(semantic stratum)은 순 변화가 거의 없어 TC% 이득은 단일 지표가 아닌 어떤 셀이 이동했는지로 평가해야 함을 보인다.

arXiv:2606.27926v1cs.AI

검증 가능한 기하 문제 풀이: 솔버 주도 자동 형식화 및 정리 제안

Verifiable Geometry Problem Solving: Solver-Driven Autoformalization and Theorem Proposing

기하 문제 풀이는 신경-기호 패러다임을 점점 더 채택하여 신경적 직관과 기호적 엄밀성을 결합한다. 그러나 현재 프레임워크는 두 핵심 단계에서 심각한 병목을 겪는다: 다모달 번역을 하류 솔버 호환성과 분리된 정적 과제로 다루는 자동 형식화(autoformalization), 그리고 고정된 규칙 라이브러리로 인해 솔버가 빈번히 연역적 막힘에 빠지는 정리 예측. 이를 해결하기 위해, 우리는 형식화와 연역 전반에서 기호 솔버를 실행 오라클로 취급하는 솔버 주도 프레임워크 SD-GPS를 제안한다. 첫째, 솔버 주도 자동 형식화는 QwenVL3-2B 기반 단일 모듈에서 지도 형식 언어 적응과 풀이 가능성 안내 강화학습을 통합하여, 실행 가능성을 핵심 학습 신호로 만든다. 둘째, 검증된 정리 제안은 현재 증명 상태에서 국소 보조 보조정리를 제안하는 막힘 인식 에이전트를 도입하고, 모든 제안을 기호적 검증으로 필터링하여 건전성을 보장한다. Geometry3K 및 PGPS9K에 대한 실험 평가는 SD-GPS가 표준 완성, 객관식, 교차 모달 참조 체제에서 기존 MLLM, 신경망, 신경-기호 방법을 일관되게 능가함을 보여주며, 다모달 인지와 기호적 실행 사이의 루프를 닫는 것이 기하 추론을 크게 향상시킨다는 것을 입증하고, 신경 에이전트가 형식 시스템에 그라운딩되어 검증 가능한 문제 풀이 능력을 달성할 수 있는 방법에 대한 깊은 통찰을 제공한다.

arXiv:2606.26649v1cs.AI

에이전트 지시사항의 Policy-as-Code 자동 형식화

Autoformalization of Agent Instructions into Policy-as-Code

고위험 도메인 에이전트 안전을 위해 LLM 기반 생성자-비평가(generator-critic) 루프로 에이전트 프롬프트, MCP 도구 설명, 자연어 정책 문서를 Cedar Policy Language로 작성된 형식 검증 정책으로 변환하는 자동 형식화(autoformalization) 파이프라인을 제안한다. MedAgentBench 벤치마크에서 선행 연구의 수작업 기호적 집행보다 원본 자연어 명세를 더 넓게 포괄하는 정책을 생성한다.