자동형식화(autoformalization)에서 정확한 의미론적 정렬은 형식 수학 추론에 있어 매우 중요하다. 그러나 기존 평가 방식은 불투명한 이진 판정이나 스칼라 점수만을 제공할 뿐, 번역이 어디서 왜 실패하는지에 대한 해석 가능한 통찰을 제공하지 못한다. 이러한 불투명성은 인간의 이해와 자동화 시스템 개선 모두를 심각하게 제한한다. 이 간극을 메우기 위해 우리는 FormalRx를 소개한다. FormalRx는 자동형식화 평가를 블랙박스 판정에서 실행 가능한 피드백으로 전환하는 종합적 진단 평가 프레임워크이다. 핵심에는 SCI 오류 분류 체계(SCI Error Taxonomy)가 있으며, 이는 자동형식화 오류를 엄격한 우선순위 순서에 따라 28개의 세부 범주로 분해하는 계층적 분류(classification) 체계이다. 이 분류 체계를 기반으로 FormalRx는 정렬 판정, 오류 분류, 오류 국소화, 오류 수정이라는 네 가지 핵심 진단 기능을 제공한다. 우리는 세밀한 진단 어노테이션이 포함된 56,287개의 자연어-형식언어(NL-FL) 쌍으로 학습된 진단 모델(model) FormalRx-8B로 이 프레임워크를 구현하고, 최초의 세밀한 진단 벤치마크인 FormalRx-Test를 공개한다. FormalRx-8B는 판정에서 F1 점수 0.88, 분류에서 0.71을 달성하고, 국소화 정확도 0.75, 수정 정확도 0.73을 기록하여 범용 대규모 언어 모델(LLM)과 특화된 베이스라인 모두를 크게 능가한다. FormalRx는 평가와 실행 가능한 통찰을 연결함으로써 자동형식화 시스템의 체계적인 진단과 개선을 가능하게 한다.
우리는 인간의 수학적 추론이 순수 연역의 결정 불가능성(undecidability)과 계산적 난해성(computational intractability)에 의해 제약받기 때문에, 순수 연역 외부 영역에서의 패턴 매칭에 근본적으로 의존한다는 가설을 제시한다. 이러한 패턴의 가장 풍부한 저장소는 자연 세계로, 그 물리 법칙과 생물학적 시스템은 수십억 년에 걸친 '사전 계산(pre-computation)'을 거쳐 이미 놀랍도록 혁신적인 해법을 내재하고 있다. 이 주장을 뒷받침하기 위해 우리는 진동하는 현(vibrating string) 논쟁에서 열 방정식(heat equation)과 그 이후 수학에서 널리 쓰이는 형식 체계에 이르기까지, 푸리에 변환(Fourier transform)과 관련 수학의 역사를 추적한다. 각각의 결정적 전환점에서 물리학 문제는 순수 형식 추론이 예측하지 못했거나 오히려 인간 추론이 저항했던 수학적 도구의 수용 또는 창조를 강제했다. 나아가 NP-난해 명제 충족 가능성 문제(NP-hard propositional satisfiability)부터 단항 이차 이론(monadic second-order theories)의 비초등(non-elementary) 결정 절차에 이르는 논리적 복잡도의 전체 지형을 개관함으로써, 논리가 결정 가능한 경우에도 최악의 경우 연역에 필요한 자원이 천문학적으로 많음을 보인다. 우리는 이러한 장벽들이 물리학에서 영감을 받은 패턴 매칭을 단순한 역사적 우연이 아닌 인지적 필연으로 만든다고 주장한다. 마지막으로 인공지능에 대한 함의를 도출한다. 순수 추론이 본질적으로 불충분하다면, 인간 수준의 수학적 창의성을 목표로 하는 어떤 시스템도 연역에만 의존하기보다 방대한 교차 영역(cross-domain) 패턴을 내재해야 한다. 이는 현대 대규모 언어 모델(LLM)의 거대한 규모에 대한 원리적 정당화를 제공한다.
추상 논증(abstract argumentation)에서 기존의 but-for 검정이 Preemption이나 Overdetermination 같은 논증 구조에서 인과관계를 올바르게 식별하지 못하는 한계를 극복하기 위해, 구조 방정식 모델과 Halpern-Pearl 실제 인과성 정의에 기반한 개입(intervention) 연산자를 도입한 반사실적 추론 프레임워크를 제안한다. 논증의 수용 조건을 방정식으로 인코딩하고 증인 논증을 실제 레이블로 고정하는 메커니즘을 통해, 기존 방법보다 표현력과 신뢰성이 높은 반사실적 설명을 제공함을 비교 분석으로 보인다.
검증 가능한 보상을 통한 강화학습(RLVR)은 일반적으로 단일 이진 검증 신호에 의존해 왔지만, 형식적 추론(formal reasoning)에서의 기호적 증명 보조기(symbolic proof assistants)는 풍부하고 세분화된 구조적 피드백을 제공합니다. 구조화된 프로세스와 비구조화된 보상 사이의 이러한 격차는 밀도가 높고 건전한(sound) 피드백의 중요성을 강조합니다. 본 연구에서는 Lean 증명 보조기(Lean proof assistant) 자체가 기호적 프로세스 오라클(symbolic process oracle)로 기능할 수 있음을 보여주며, 학습(training) 중에 결과 수준(outcome-level)과 세분화된 전술 수준(tactic-level)의 검증된 피드백을 모두 제공합니다. 증명 시도는 전술 시퀀스(tactic sequences)로 파싱되며, Lean의 정제(elaboration) 과정은 국소적으로 건전한 단계와 가장 초기의 실패 단계를 모두 표시하여, 유형 이론(type theory)에 뿌리를 둔 밀도 높고 검증자 기반(grounded)의 크레딧 신호(credit signals)를 생성합니다. 우리는 이러한 구조화된 보상(rewards)을 GRPO 스타일의 강화학습(reinforcement learning) 목적 함수에 통합하며, 이때 첫 번째 오류 전파(first-error propagation) 및 첫 번째 토큰 크레딧(first-token credit) 방법을 사용하여 결과 수준과 프로세스 수준의 이점을 균형 있게 조절합니다. STP-Lean과 DeepSeek-Prover-V1.5를 사용한 실험 결과, 전술 수준(tactic-level) 감독(supervision)이 대부분의 설정에서 결과 전용 기준선(outcome-only baselines)보다 우수한 성능을 보이며, MiniF2F 및 ProofNet과 같은 벤치마크에서 개선을 달성함을 보여줍니다. 경험적 이득을 넘어, 우리의 연구는 더 넓은 관점을 조명합니다: 기호적 증명 보조기는 평가(evaluation) 시점의 검증기(verifier)일 뿐만 아니라 학습(training) 중에 프로세스 수준 보상 오라클(process-level reward oracles)로도 작용할 수 있습니다. 이는 형식적 추론을 위해 언어 모델의 확장성(scalability)과 기호적 검증의 신뢰성(reliability)을 결합하는 강화학습(reinforcement learning) 프레임워크로 가는 길을 엽니다.
대규모 언어 모델(LLM)과 LLM 에이전트는 피드백을 받으면 개선해야 하지만, 언제 그럴 수 있는지 식별하는 것은 어렵습니다. 피드백은 이질적이고 도메인 특화적이며 제어하기 어렵기 때문입니다. 우리는 LLM에게 정규 표현식 유도(regular-expression induction)를 수행하도록 요청함으로써 이 문제에 접근합니다. 이는 고전적인 기호 학습(symbolic learning) 문제로, 반례(counterexample) 형태로 피드백에 대한 정확한 메커니즘이 존재합니다. 반례 기반 학습에서 학습자(LLM)는 긍정/부정 레이블이 지정된 문자열로부터 후보 정규 표현식을 제안하고, 교사(검증기)는 후보 언어와 목표 언어 간의 차이를 보여주는 반례를 반환합니다. 우리는 정규화(regularization) 및 기호 반례 클러스터(symbolic counterexample clusters)와 같이 효과적인 정규 표현식(regex) 학습을 가능하게 하는 새로운 반례 기반 정제 전략을 식별했습니다. 또한 반성(reflection) 및 수정 루프(repair loops)와 같은 에이전트 전략도 탐구합니다. 실험적으로, 우리는 검증기 피드백이 어려운 정규 표현식 유도 작업에서 샘플 효율성을 크게 향상시킨다는 것을 발견했습니다. 이는 필요한 레이블된 예제의 수를 줄이고, 표준 프롬프팅이 실패하는 복잡한 목표 표현식의 학습을 가능하게 합니다. 예를 들어, 가장 어려운 작업 그룹에서 우리의 반례 기반 프레임워크는 두 가지 다른 정규 표현식 도메인에서 성공률을 3.2%에서 38.1%로, 38.9%에서 74.1%로 향상시켰습니다. 이러한 결과는 LLM이 피드백을 단순히 추가 데이터로 취급하는 것을 넘어 풍부한 피드백으로부터 이득을 얻을 수 있음을 시사하며, LLM 기반 프로그램 합성(program synthesis) 및 형식적 추론(formal reasoning)을 위한 강력한 검증기 기반 방법의 가능성을 열어줍니다.