The shallow embedding of higher-order modal logic in classical higher-order logic, used in Benzm\"uller and Scott's Notes on G\"odel's and Scott's variants of the ontological argument, reaches beyond the modal object language: its quantifiers range over domains containing the nominals and satisfaction operators of hybrid logic. A proof using one proves a theorem of the embedding, not necessarily of the modal logic. Whether a result is one of the modal logic can be settled by replaying it in an explicit calculus, or, more cheaply and for all results at once, by analysing what the embedding's proofs substitute. Every statement the Notes prove has a proof in the embedding substituting nothing outside the object language, 294 of them explicit. The Notes' own proofs substitute none either; what it flags are terms a prover introduced. A soundness theorem over general models closed under the object language, and a sentence of that language the embedding proves but which fails in such a model, fix what the certificate says. The Notes' three open questions are settled too, without nominals, but by the empty instance of the conjunction axiom, too cheaply to convince. Generalised to G\"odel's "any number of summands", the axiom covers the empty conjunction and the singleton. This article restricts it to at least two different conjuncts, a non-degenerate reading of G\"odel's footnote, and settles them again without nominals. In effect only the empty conjunction is excluded; the singleton comes back with the other axioms. In one variant the restriction refutes the possible existence of a God-like being; the answers return, with no side condition, once the Notes' non-emptiness clause is confined to G\"odel's essence. Every theorem here is verified in Isabelle/HOL and independently in Lean 4, the separating model in its propositional part; the countermodels are Nitpick's, checked by the build.
AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.
검증 가능한 코드를 생성할 때, 대규모 언어 모델(LLM)과 에이전트(agent) 워크플로를 사용하여 자연어 요구사항을 기계 검증된 코드로 매핑합니다. 이 파이프라인의 핵심 구성 요소는 에이전트가 구현의 정확성을 증명할 수 있는 정형 계약을 생성하는 명세 생성(SpecGen)입니다. 증명 생성은 정리 증명기(theorem prover)로부터 결정론적 피드백을 얻을 수 있지만, SpecGen은 생성된 명세가 사용자의 의도를 제대로 포착했는지에 대한 결정적인 검증 수단이 부족합니다. 따라서 검증을 통과한 증명이라 하더라도 의도된 동작을 잘못 나타내는 명세를 기준으로 정확성을 입증하는 문제가 발생할 수 있습니다. 본 연구에서는 VERINA의 $189$개 및 CLEVER의 $161$개를 포함하여 기존의 $350$개 Lean 작업으로 구성된 통합 데이터셋(dataset)과, 정형적 타당성, 참조 유사도 및 동치성, 동작 적절성을 다루는 프레임워크를 통해 총체적인 SpecGen 평가를 향한 한 걸음을 내딛습니다. 본 연구는 필수 입력의 수용을 유효한 출력의 수용 및 무효한 출력의 거부와 구별하는 동시에, 각 지표의 근거 범위를 명시적으로 만듭니다. 네 가지 SpecGen 구성에 걸쳐 참조 유사도 측정 지표인 일반화된 트리 편집 거리(GTED) 비교를 공동 측정이 가능한 $32$개의 VERINA 작업으로 제한하면, 평균 유사도에서 VERINA 구성의 순위가 2위에서 4위로 변경되어 측정 범위(coverage)의 중요성을 보여줍니다. 직접 작성한 대조군 실험에서는 한 명세가 필수 입력을 $0\%$만 수용하면서도 $100\%$의 양성 테스트 재현율(recall) 및 음성 테스트 거부를 달성했습니다. 이는 완벽한 사후 조건 점수가 사용 불가능한 입력 계약을 놓칠 수 있음을 입증하며, 입력 범위와 출력 제약 조건에 대한 분리된 피드백의 필요성을 시사합니다.
대규모 언어 모델(LLM)은 명세서 해석, 검증 산출물 생성, 디버깅, 정형 추론, 도구 오케스트레이션을 자동화하기 위해 하드웨어 검증에 점차 통합되고 있습니다. 본 서베이는 SystemVerilog 어서션 생성, 자극 및 테스트벤치 생성, 버그 위치 특정 및 설계 수정, 모델 검사 및 동등성 검사, SAT/SMT 최적화, 최신 에이전트 기반 검증 워크플로 전반에 걸친 LLM 지원 하드웨어 기능 검증에 대한 체계적인 검토를 제공합니다. 본 논문은 방법론, 검증 목표, 도구 상호작용, 벤치마크, 평가 기준별로 관련 문헌을 정리하며, 프롬프팅, 검색, 구조화된 추론, 에이전트 기반 워크플로를 포함한 추론(inference) 시점 기법과 학습(training) 시점 적응을 모두 살펴봅니다. 이러한 영역 전반에서 공통적인 패턴이 나타납니다. 시뮬레이터, 정형 엔진, 커버리지 도구, 솔버가 실행 가능한 피드백과 정확성 증거를 제공하는 반면, LLM은 검증을 고려한 워크플로 내에 내장된 의미론적 추론, 탐색, 오케스트레이션 구성 요소로서 가장 효과적입니다. 그러나 어서션, 테스트, 수정 또는 증명이 완전한 설계 의도를 충실히 포착하지 못한 채 제공된 검사만을 만족할 수도 있으므로, 도구 승인만으로는 검증 정확성이 확립되지 않습니다. 따라서 명세서와 검증 증거 간의 의미론적 정렬, 결정론적 도구와의 확장 가능한 통합, 미확인 설계에 대한 일반화, 그리고 정확성, 비용, 강건성, 인적 노력에 대한 엄격한 평가를 핵심 과제로 식별합니다. 마지막으로, LLM의 유연성과 독립적으로 검증 가능한 검증 증거를 결합하는 명세 중심, 신경-기호(neuro-symbolic), 지속형 에이전트 검증 시스템을 향한 새로운 방향을 논의합니다.
컴파일러가 대기 상태(wait-for) 엣지를 추적하고, 멀티스레드 작업의 건전성을 증명하며, 분산 경계 계약을 보존할 때 동시성, 병렬성 및 분산 실행은 진정으로 두려움 없는(fearless) 시스템이 됩니다. 본 설계에서 저자들의 Composer 컴파일러는 C나 벤더 API를 통한 변환 없이 Clef를 네이티브 CPU, GPU, NPU 및 FPGA 코드로 직접 저수준화(lowering)하는 과정에서도 증명을 보존합니다. 본 연구의 프로그램 의미론 그래프(Program Semantic Graph)는 BAREWire의 언박싱된 경계 계약을 정당화하는 값, 관계 및 전제를 유지합니다. 또한 C 및 C++ 인터페이싱은 명시적인 마샬링 경계 역할을 하며, 증명은 실제 인자, 변환 및 반환값에 연계됩니다. 네 가지 검증 계층(tier)이 본 설계에 대한 설명을 유기적으로 연결합니다. 계층 1은 주 차원 유형(principal dimensional types)에 기반한 구조적 추론(inference)을 제공합니다. 계층 2는 노드(node) 수준에서 로컬 산술, 표현 및 계산 무결성을 생성하고 검사합니다. 계층 3은 Iris, Actris, Aneris가 지원하는 분산 증명을 포함하여 재사용 가능한 도메인 및 시스템 보조정리(lemma)를 인스턴스화합니다. 계층 1~3은 개발자의 어노테이션을 요구하지 않으며, 사용 사례 확장에 맞춰 적용 범위를 넓힐 수 있도록 인용 기반 보조정리 라이브러리 설계를 활용합니다. 계층 4는 계산 및 확률적 관계 증명을 수용하며, 프로젝트 어노테이션을 통해 필요한 관계를 식별합니다. 또한 동일한 라이브러리 방향성을 확장하여 하이퍼그래프 구조로부터 관계적 구성을 인식하도록 합니다. 형식적 합성 규칙은 산술, 소유권, 프로토콜 및 실체화 근거를 연결합니다. 본 연구에서 구현한 분산 리덕션(distributed reduction)은 동시 작업자, 도착 순서 변경 및 경계 매핑 전반에 걸쳐 명시된 단일 결과를 보존합니다. 그 확률적 확장은 명시적인 오류 허용 예산(failure budget)과 함께 작업자 및 변환 오류를 수용합니다. Urschel의 최근 연구와 결합하여, 바운드가 재사용 가능한 증명 항의 유효한 원천을 제공함을 입증합니다. 이러한 구조적 설계를 통해 다양한 하드웨어 타깃 전반에서 검증을 진정한 무결점 프로그램 및 시스템을 위한 핵심 엔지니어링 원칙으로 확립합니다.
코딩 에이전트(coding agent)는 프로그램이 명세(specification)를 만족하고, 해당 명세가 요구된 동작을 정확히 담아내고 있음을 입증해야 합니다. 본 연구에서는 검증 실패에 대한 전문가의 진단이 어떻게 이러한 작업을 위한 재사용 가능한 지침이 될 수 있는지 살펴봅니다. 본 접근 방식은 K 프레임워크의 실행 가능한 언어 정의와 명세 작성, 증명 수정, 그리고 적절성 감사를 위한 절차 키트를 결합합니다. 164개의 파이썬 프로그래밍 작업으로 구성된 벤치마크인 HumanEval에서 인간 주도형 개발을 진행한 결과, 해당 시맨틱과 키트를 적용하고 두 차례의 집중 수정을 거쳐 최종 AI 감사에서 '통과(Pass)' 판정을 받음으로써 164/164의 성공률을 달성했습니다. 성공적인 증명에서도 해결되지 않은 문제를 감사가 감지할 수 있는지 검증하기 위해, 저자 검토를 거친 12쌍의 정상 패키지와 결함 패키지를 구축했습니다. 모든 패키지는 K 증명을 통과했으며, 완료된 감사는 모든 결함을 식별하고 정상 패키지를 모두 승인했습니다. 이어 연산자 의미가 변경된 31개 프로그램을 대상으로 KleverBench를 사용하여 명세 및 증명 생성을 테스트했습니다. 완전한 수락 규칙 및 동일한 길이의 일반적인 조언과의 비교에서는 두 가지 모델과 예산 설정에 걸쳐 엇갈린 결과가 나타났으며, 이는 자원 한도 내에서 유용한 지침을 선별하는 후속 연구의 필요성을 시사합니다. 인간이 검토한 Optimism 증명은 무제한 가스 환경의 London 시맨틱 하에서 선언된 입력 범위 내 6개 연산에 대해 예상되는 일시 중지 되돌리기(pause revert)를 규명합니다. 본 논문에서는 검증 가능한 정확성 논거를 갖춘 프로그램을 제공하는 에이전트를 향한 진전, 난제, 그리고 교훈을 보고합니다.
중복도를 고려하여 센 전체 개수에 대비해 리만 제타 함수의 서로 다른 비자명 영점(distinct nontrivial zeros)의 점근적 비율 하한은 최소 $0.8369928814\ldots$이다. 이전 연구에서는 $0.83625\ldots$가 증명되었으며, 본 연구진이 검증하지 않은 한 보고서에서는 $0.83672\ldots$를 주장한다. $0.83625$ 상한의 증명에서와 마찬가지로, 몽고메리의 쌍 상관 정리(Montgomery's pair-correlation theorem)의 무조건적 버전이 점근적 에너지 추정치를 제공한다. 새로운 핵심 요소는 자유 클리핑 매개변수(parameter)를 갖는 짧은 행렬 부등식이다. 이는 서로 구별되는 영점의 수 관점에서 이 에너지의 하한을 강화한다. 이러한 개선은 임계선(critical line) 상의 서로 다른 인접 영점 간의 중첩에서 비롯된 음이 아닌 보정값이며, 이들 영점 중 일부가 이중 영점인 경우에도 유지된다. 행렬 부등식, 임계값 보조정리(threshold lemma), 블록 이분법(block dichotomy), 계수 결합(counting assembly) 및 정확한 산술은 Lean 4에서 형식적으로 증명되었다. 이 상수는 아직 심사를 거치지 않은 최근 연구의 컴퓨터 보조 국소 부등식에 의존한다. 해당 계산은 독립적으로 다시 수행되었으며, 가져온 모든 입력값이 나열되어 있다. 본 논문은 주로 AI 보조 수학 연구에 관한 실험이다(섹션 4).
신뢰할 수 있는 증명 검증은 고난도 수학적 추론에 대한 AI 시스템의 학습(training)과 평가(evaluation)에서 여전히 병목 현상으로 남아 있습니다. Lean과 같은 언어로 작성된 완전한 형식적 증명(fully formal proofs)은 모호하지 않고 모듈화되어 있어 검증하기 쉽습니다. 그러나 대부분의 증명, 특히 AI 시스템이 작성한 증명은 두 가지 특성을 모두 갖추지 못했으며, 이를 형식 언어로 번역하는 것은 많은 프론티어 수학 환경에서 여전히 어려운 과제입니다. 본 논문에서는 자연어의 유연성을 유지하면서도 형식적 증명의 모듈성과 정밀성을 포착하는 증명 형식인 의사 형식화(Pseudo-Formalization, PF)를 제안합니다. 의사 형식적 증명은 독립적인 모듈들로 분해되며, 각 모듈은 전제, 결론 및 증명을 자연어로 명시합니다. 일반 자연어 증명의 정확성을 검증하기 위해, 대규모 언어 모델(LLM)이 이를 의사 형식적 표현으로 변환한 다음 각 모듈을 독립적으로 검증하는 블록 검증(Block Verification, BV) 알고리즘을 사용합니다. 올림피아드 및 연구 수준의 수학을 아우르는 두 가지 벤치마크(benchmark)에서 PF+BV를 평가한 결과, 오류 발견 정밀도(precision)와 재현율(recall) 측면에서 LLM-as-a-judge 베이스라인을 파레토 지배(pareto-dominates)함을 확인했습니다. 향후 연구를 지원하기 위해 연구 수준의 증명 검증 벤치마크인 ArxivMathGradingBench를 공개합니다.
인공지능 시스템이 파급력이 크고 안전성이 중요한 환경에 점점 더 많이 배포되고 있으나, 보안 평가는 감사 환경에서 재현하고 방어하기가 여전히 어렵습니다. 기존 접근 방식은 종종 서술형 체크리스트나 평가자 주도의 점수 산정에 의존하며, 관찰 가능한 엔지니어링 산출물에서 안정적인 기법 수준의 결과로 이어지는 명시적이고 기계 평가 가능한 매핑이 부족합니다. 본 논문에서는 평가를 결정론적(deterministic) 결정 함수로 운용하는 증거 기반 AI 보안 평가 프레임워크를 제시합니다. 이 프레임워크는 이기종 산출물을 유계 4단계 서열 척도로 점수화되는 프로젝트 독립적 제어 ID(Control ID) 분류 체계로 정규화하고, 명시적인 완화책-제어 매핑을 통해 고정된 MITRE ATLAS 스냅샷으로부터 기법 수준의 술어를 컴파일하며, 유발 증거로의 추적 가능한 링크와 함께 기법별 실행 가능성 및 영향 수준을 출력합니다. 또한 스냅샷 전반에 걸친 반복 가능한 재평가를 지원하기 위해 모든 규범적 선택 사항을 버전 관리되는 평가 정책 객체로 패키징합니다. 의미론적 정확성을 보장하기 위해 선언된 전체 점수 도메인에 걸쳐 컴파일된 평가기의 유계성, 전사성, 순서 의미적 일관성, 단조성을 정형 검증(formal verification)합니다. 명시적인 저장소 스냅샷으로 고정된 5개의 공개 오픈소스 AI 프로젝트에서 프레임워크를 평가하고, 통합된 보안 강화 개입에 따른 사전 및 사후 변화를 정량화하며, 소프트웨어 자재명세서(SBOM) 생성 및 지속적 통합(CI) 보안 스캐닝 게이트의 포크 기반 구현을 통해 실제 엔지니어링 변화에 대한 반응성을 검증합니다. 결과에 따르면 관찰 가능한 제어가 강화됨에 따라 실행 가능성 프로파일이 일관되게 하향 이동하는 한편, 기법별 핵심 제어가 증거 범위에 여전히 부재한 경우에는 최악의 잔여 실행 가능성이 지속됨을 보여줍니다.
코딩 에이전트(agent)는 Lean 증명 개발을 점점 더 자동화하고 있지만, 컴파일 성공만으로는 후보 증명이 허용 가능한 가정 하에서 의도한 명제를 증명한다는 점을 확증하지 못합니다. 본 논문에서는 형식 수학 및 소프트웨어 검증에서 감사 가능한 추론을 위한 프런트엔드 독립적 프레임워크인 FORALL-LEAN-AGENT를 제시합니다. 이 프레임워크는 격리된 작업 공간, Lean 도구, 새로운 검토를 명제 비교, 공리 감사, 그리고 지원되는 경우 독립적인 증명 검사와 결합합니다. 검증 증거와 검토자의 결정은 동일한 후보 아티팩트에 바인딩되어 수락 과정을 추적할 수 있도록 합니다. 우리는 VeriSoftBench, PutnamBench, 그리고 Lean Eval 소프트웨어 검증 트랙의 두 문제 모두에서 이 프레임워크를 평가합니다. 100개 과제로 구성된 VeriSoftBench 하위 집합에서, FORALLLEAN-AGENT와의 통합은 GPT-5.6 Sol의 벤치마크 규칙 성공을 낮은 노력으로 93개에서 100개로 높이는 동시에 비용을 69달러에서 62달러로 절감합니다. PutnamBench 평가에서는 전체 672개 문제를 평균 4.72달러에 모두 통과시킵니다. 이러한 결과는 에이전트 하네스 설계가 총 해결 횟수를 넘어서는 증거를 제공하는 동시에 정확성과 효율성을 향상시킬 수 있음을 보여줍니다.
지갑을 제어하는 AI 에이전트(agent)는 공격자가 접근 가능한 콘텐츠를 읽기 때문에 유해한 트랜잭션을 제안하도록 유도될 수 있습니다. 일반적인 최종 방어선은 정적 허용 목록(allowlist), LLM 검토기, 또는 트랜잭션 시뮬레이션과 같은 서명 전 검사입니다. 이 세 가지 방식은 모두 하나의 공통된 결함을 공유합니다. 즉, 검사는 검사 시점의 체인 상태를 기술하지만, 트랜잭션은 공격자가 프런트러닝(front-running), 컨트랙트 업그레이드 또는 토큰 매개변수(parameter) 변경을 통해 조작할 수 있는 이후 상태에서 실행된다는 점입니다. 우리는 이를 상태 드리프트(state drift)라고 부릅니다. 본 논문에서는 제안된 트랜잭션을 시뮬레이션하고, 그 효과를 추출하며, SMT 솔버를 사용하여 오라클 불확실성 대역 내의 모든 가격에 대해 선언적 가치 및 권한 정책을 검사하는 증명 기반 서명(PGS, Proof-Gated Signing)을 제시합니다. 그런 다음 온체인 사후 조건(지갑 잔액 범위, 수취인 영수증, 허용 한도 상한 및 소유권)을 컴파일하고, 이를 만족하는 모든 실행이 정책 또한 만족함을 증명합니다. 에이전트의 스마트 컨트랙트 지갑은 이러한 조건을 원자적으로 강제하므로, 임의의 드리프트가 발생하는 상황에서도 실행된 트랜잭션에 보장이 적용됩니다. 260개 시나리오(드리프트 패밀리 5개 및 적응형 패밀리 2개를 포함한 14개 공격 패밀리와 12개 정상 패밀리)로 구성된 공개 테스트베드에서 정책 대신 공격자 잔액을 기준으로 피해를 측정한 결과, PGS는 140개의 유해한 시나리오 중 93.6%를 방지하고 정상 시나리오의 97.5%를 통과시켰습니다. 반면 시뮬레이션 전용 검사는 57.9%, 정적 허용 목록은 71.4%를 방지하는 데 그쳤습니다. PGS 적용 하에서 50개의 드리프트 시나리오 중 공격자 이득을 발생시킨 시나리오는 전혀 없었습니다. 유일하게 방지되지 않은 패밀리인 정책 내 탈취(in-policy drain)는 세션당 예산 범위 내로 제한되었습니다. 또한 LLM 검토기에게 드리프트 이전의 깨끗한 시뮬레이션 결과를 제공했을 때 드리프트 공격을 승인할 가능성이 오히려 더 높아진다는 점도 발견했습니다. 오버헤드는 검사당 약 41k 가스(gas) 및 0.1-0.2초 수준입니다.
동시적이고 결함이 발생하기 쉬운 워커(worker)들에 작업을 위임하는 AI 에이전트(agent)에게 자원 한도는 일종의 인가 경계(authorization boundary)가 되어가고 있습니다. 그러나 부모-자식 할당 제약, 아핀 객체(affine object), 분산 에스크로(distributed escrow)만으로는 응답 유실, 타임아웃 후 작업 완료, 메시지 중복, 브랜치 분할(partition), 또는 방향성 비순환 그래프(DAG) 조인(join)이 단일 계통(lineage)을 앨리어싱(aliasing)하는 상황에서의 초과 지출을 방지하지 못합니다. 본 논문에서는 분산 다중 에이전트 위임에 대한 결함 감내형(fault-tolerant) 예산 보존을 정형화합니다. 예산은 위임 DAG를 통해 이동하는 배타적 에스크로 크레딧으로 표현되는 양자화된 자원 벡터입니다. 디스패치(dispatch) 전에 브랜치는 크레딧을 계통, 에포크(epoch), 정규화(normalization)된 효과, 최대 청구액, 수신자 및 멱등성 키에 바인딩된 작업 예약으로 변환합니다. 이는 격리(quarantine)가 적용된 서명된 디스패치 허가증을 영속화하며, 게이트웨이는 최초 수락 전에 이 허가증을 검증(validation)합니다. 불확실한 효과는 인증된 정산, 펜싱(fenced)된 권한 있는 무효과 증명(authoritative no-effect proof), 또는 영구적인 폐기 전까지 청구된 상태로 유지됩니다. 본 연구에서는 명시적 중재, 영속성, 인증, 정규화 및 게이트웨이 가정 하에서 소유권 분할, 원장 및 효과 보존, 자손 비증폭성, 최대 1회(at-most-once) 정산, 지연 완료 안전성, 분할 격리를 증명합니다. 구별 불가능성(indistinguishability) 결과는 분할-로컬 가용성을 확보하려면 배타적 사전 할당이 필수적임을 보여줍니다. 유계 TLA+ 검사, 독립적인 JavaScript 탐색기, 충돌 주입(crash-injected) 2-프로세스 SQLite 실험을 통해 선언된 범위를 검증하고 타임아웃 환불 및 과거 인증서 검증 뮤턴트(mutant)를 탐지합니다. 이 메커니즘은 평가된 충돌, 재시도, 중복, 네트워크 분할, 조인 및 지연 완료 스케줄 전반에 걸쳐 발급된 예산 한도를 성공적으로 보존합니다.
자기 수정(self-modifying) AI 에이전트는 후손이 계속 실행 가능한 상태를 유지하면서도 식별성을 지닌 소프트웨어를 교체(replace), 포크(fork), 롤백(roll back)할 수 있습니다. 그러나 후계자별(per-successor) 인가(authorization) 방식은 그로 인해 발생하는 에이전트 집단을 제약하지 못합니다. 즉, 형제 개체들이 쿼터를 복제하거나, 권한을 결합하거나, 조상 차단(ancestor cut) 후에도 살아남거나, 승격 도중 이전 개체와 중첩될 수 있습니다. 본 연구에서는 단일 부모 세대 포레스트(forest)의 활성 프런티어 전반에서 권한을 보존하는 '인가 승계(authorization succession)'를 정의합니다. 본 논문의 외부 프로토콜은 각 세대를 매니페스트, 루트, 고유한 부모, 완전한 계통(lineage), 새로운 집단 시퀀스에 바인딩합니다. 서로 독립적인 불변조건(invariants)을 통해 루트 생애주기 동안의 소비량과 현재 집단 노출을 제한합니다. 단계별 예약(staged reservation)을 통해 교체 중 이전 개체의 잔여 권한을 동결하는 한편, 분할 포크(partitioning fork)를 통해 완전한 자식 패밀리를 검증합니다. 각 커밋은 원자적(atomically)으로 이전 개체에 펜스를 치고 후계자들을 활성화합니다. 조상 차단은 종속된 후손들을 무효화하며, 롤백은 이미 소진된 권한을 복구하지 않고 새로운 세대를 생성하며, 새로운 루트는 독립적인 승인 부여를 요구합니다. 완전한 매개(complete mediation), 인증된 레코드, 건전한 효과 추상화(sound effect abstraction), 지속적인 단조 상태(durable monotone state), 완전한 계통 회계 처리를 바탕으로, 집단 안전 승계(population-safe succession), 포크 보존, 폐기 폐쇄(revocation closure), 원자적 인계, 롤백 시 재발행 방지(non-reminting), 자체 인증 배제를 증명합니다. 실행 가능한 평가는 직접 호출 및 메일박스 매핑을 통해 등록된 32개의 결정을 다룹니다(64/64 재생, 28건 허용, 36건 거부). 독립적인 검사기는 64개의 원본 트레이스를 모두 수락하고 28/28개의 의미론적 변연체(semantic mutants)를 거부하며, 12/12 프로파일 불변조건, 16/16 충돌 차단, 32/32 경쟁자 스케줄을 통과합니다. 두 개의 외부 어댑터는 새로운 프로세스 재시작, 원자적 승계, 이전 개체 거부를 포함하여 측정된 OurArk 및 Darwin Godel Machine 돌연변이 전반에서 32개의 결정을 모두 재현합니다. 이러한 결과는 등록된 보호 효과에 대한 인가 승계의 유효성을 입증합니다.
대규모 언어 모델(LLM)은 이론 전산학(TCS) 연구 자동화에서 점점 더 큰 잠재력을 보여 왔지만, 기존 벤치마크는 현실적인 연구 환경과는 여전히 거리가 멀다. 본 논문에서는 최전선(frontier)의 end-to-end TCS 연구에 대한 LLM 평가를 위한, 전문가가 검증한 벤치마크인 \ourbenchmark를 소개한다. \ourbenchmark는 2025-2026년 STOC, FOCS, SODA, COLT에 채택된 논문에서 추출한 $143$개의 인스턴스로 구성되며, 논문별 정의, 가정, 증명 의존성을 그대로 보존하고, 전문가가 검증한 Lean 형식화와 증명을 포함한다. 주요 LLM에 대한 평가 결과, 현재 모델들은 전체 연구 파이프라인을 안정적으로 완수하는 데 여전히 크게 못 미치는 것으로 나타났다. 특히 자동 형식화(autoformalization)가 가장 큰 병목이다. 가장 성능이 좋은 모델은 자연어 주장을 형식 정리 명제로 번역하는 과제에서 $11.5$에 그친 반면, 사람이 제공한 형식 명제를 증명하는 과제에서는 Pass@8 기준 $28.6$을 달성했다. \ourbenchmark를 바탕으로, 새로운 주장을 생성하고, 형식화하고, 필터링하고, 증명하는 자동화된 TCS 연구 프레임워크도 추가로 개발한다. 생성된 $64$개의 주장 중 최종적으로 전문가 평가와 증명 검증을 모두 통과한 것은 $6$개에 불과했으며, 이는 형식화 외에도 제한적인 연구 안목(research taste)이 자율적 TCS 연구를 가로막는 또 다른 주요 장벽임을 시사한다.
우리는 재귀적 자기 개선이 일어나는 부류인 튜링 완전(Turing-complete) 자기 수정 시스템에 대해, 고정된 시스템 자체와 그 시스템의 자기 수정 과정 전반 모두에서 알고리즘적 안전성 검증의 수학적 한계를 규명한다. 정적으로는 건전성(sound), 완전성(complete), 다루기 쉬움(tractable)을 모두 갖춘 검증기가 존재하지 않는다. 무한 도메인에서는 라이스(Rice)의 정리와 괴델(Gödel)의 정리에 의해, 모든 유한 구성에 대해서는 트라크텐브로트(Trakhtenbrot)의 정리에 의해, 그리고 간결하게 기술된 유한 환경에서는 적대자(adversary)에 대해 정책을 검증하는 문제가 coNP-완전이고 정책을 합성하는 문제가 PSPACE-완전이기 때문에 그러하다. 동적으로는 한 단계의 자기 수정을 코드에 대한 계산 가능한 변환으로 모델링하고, 안전성 속성이 그 변환 이후에도 유지되는지를 묻는다. 변환이 행동에만 의존한다면 이는 한 단계 위로 올라간 라이스의 정리에 해당한다. 자기 수정이 그러하듯 변환이 코드를 읽는다면 이 문제는 더 이상 의미론적이지 않지만, 행동이 동일한 프로그램들의 부류 내부에서도 동일한 s-m-n 환원이 성립하여 정지 문제의 차수(halting degree)를 그대로 물려받는다. 한 단계는 결코 해당 속성 자체보다 어렵지 않으며, 전체 궤적을 따라 속성이 지속되는지는 $\Pi^0_2$-완전일 수 있다. 전체 알고리즘(total algorithm)에 의한 인증은 표현력이 제한된 변환에 대해서만 가능하며, 단지 변화를 멈추는 시스템에 대해서만 가능한 것이 아니다. 감독자(supervisor)를 아무리 겹겹이 쌓아도 도움이 되지 않으며, 모든 전체 감독자는 결정 불가능한 시스템 집합에서 오류를 범한다. 효과적으로 점별(pointwise)인 속성에 대해서는, 유한한 행동 증거를 바탕으로 인증하는 모든 충실한(faithful) 유계 방식(bounded scheme)이, 속성이 위반되는 동안에도 모든 단계에서 인증되는 진화 궤적을 허용한다. 남는 것은 정확한 결과이다. 위반 시 경보를 울리는 모니터는 위반을 반결정(semidecide)하며, 고정된 기준(frozen reference)과의 비교는 전체 이론을 그대로 유지한다.
LLM이 생성한 코드의 정확성을 보장하는 것은 현대 소프트웨어 공학의 핵심 과제이다. 에이전트 기반 코드 생성 벤치마크는 홀드아웃 테스트 스위트로 정확성을 검사하지만, 이는 본질적으로 불완전하고 점점 암기(memorization)에 취약해지고 있다. 형식 검증(formal verification)은 두 문제를 모두 피할 수 있으나, 기존 연구는 입력으로 명세가 주어진 독립형 작업만 다루며, 대규모 저장소를 건드리고 의도를 모호한 자연어로 표현하는 실제 이슈는 다루지 않는다. 우리는 알려진 올바른 패치가 있는 코딩 과제를 형식적으로 검증된 과제로 바꾸는 파이프라인 Benchproofer를 제시한다. 새 코드에 대한 명세(specification)를 작성하고, 그 코드가 호출하는 기존 함수들을 공리(axiom)로 요약하며, 기계적·적대적 게이트가 일치할 때만 인스턴스를 채택한다. SWE-bench Verified에 적용하면 테스트가 아닌 형식 검증으로 정확성이 입증된 500개의 실제 이슈인 SWE-Proof가 만들어지며, SWE-bench Pro로도 확장된다. Claude Opus 4.8을 평가한 결과, 검증은 테스트가 놓치는 것을 잡아낸다. 테스트를 통과한 패치의 4분의 1이 반례(counterexample)를 허용하며, 구조화된 자연어 명세는 이를 고치지 못하지만 올바른 형식 명세는 해결률을 85%에서 95%로 끌어올린다. 그 명세를 작성하는 것이 어려운 부분이다. 스스로 명세를 써야 하는 에이전트는 돕지 않은 기준선보다 이득이 없으며, 그러한 명세 중 56%만이 우리 감사(audit)를 통과한다. 흔한 실패는 충실성(faithfulness)으로, 필요한 동작의 일부만 제약하고 나머지는 자유롭게 두는 명세이다. 명세 품질은 여전히 결과와 상관관계를 보이며, 미해결 인스턴스의 92%에서 실패하는 반면 해결된 인스턴스에서는 51%에서 실패한다. 이로써 충실한 명세 합성은 구체적인 미해결 문제가 된다.
주류 에이전트(agent) 프레임워크에서는 에이전트 자체의 출력이 종료를 알릴 때 단계가 끝납니다. 내구성 실행(durable-execution) 플랫폼은 재시도 횟수와 시간을 제한하지만, 검사기(checker)는 관례적으로 작업과 동일한 코드베이스에 위치합니다. 이는 배포 환경이 준수할 것으로 신뢰하는 규율일 뿐, 하네스가 강제하는 속성이 아닙니다. 본 논문에서는 에이전트 하네스가 보장해야 하는 바를 명시하고 이를 증명하며, 하네스가 이를 충족하는지 측정하는 계측 도구를 구축합니다. 유계 루프(bounded loop)는 워커(worker), 워커가 쓸 수 없는 독립적인 게이트(gate), 그리고 선언된 예산으로 구성됩니다. 유계 루프 그래프는 다운스트림 실패 시 이미 완료된 업스트림 노드(node)를 다시 실행할 수 있도록 하는 복구(repair) 관계를 통해 이들을 결합합니다. 이에 따라 세 가지 보장이 수반됩니다. 첫째, 종료성(termination): 복구 예산이 노드별이 아닌 전역으로 주어질 경우, 폐쇄형(closed form)으로 계산되는 최악의 시도 횟수 총합 하에서 복구 중에도 종료가 유지됩니다. 둘째, 표류 방지: 복구로 인해 귀납적으로 적용할 위상 순서(topological order)가 남지 않으므로, 제어 흐름으로부터 증명되었듯이 어펜드 온리(append-only) 해시 체인 원장의 게이트 판정 없이는 어떤 노드도 DONE에 도달하지 않습니다. 셋째, 초과 지출 방지: 지출 상한은 시도 간이 아닌 시도 내부에서 강제됩니다. 게이트는 2계층 홀드아웃 돌연변이체 코퍼스(mutant corpus)를 바탕으로 측정됩니다. 우리는 타당해 보이는 검사가 무엇이든 통과시키게 만드는 두 가지 부류를 규명합니다. 즉, 검사 대상의 부재로 인해 충족되는 공허성(vacuity)과, 검사가 적용되는 값을 대상 자체가 제공하는 자기 증명(self-attestation)입니다. 69개 루프 카탈로그를 대상으로 해당 계측 도구를 적용한 결과, 배포 및 리뷰를 거친 코드에서 47개의 공허한 게이트를 발견했습니다. 복구된 게이트에 대해 테스트했을 때, 209개의 파괴 돌연변이체에서 오승인(false accept)이 전혀 보고되지 않았습니다($\alpha \le 1.8\%$, Wilson 95%). 그러나 이 수치는 포화(saturation)일 뿐 품질을 의미하지는 않습니다. 게이트를 동결(freezing)하고 새로운 연산자 군을 적용하자, 소진된 코퍼스에서는 0%로 보고되었던 곳에서 23.3%의 오승인율이 다시 나타났습니다. 특정 비율 수치는 개별 게이트에 종속되므로, 연구의 진정한 기여는 수치 자체가 아니라 이러한 평가 체계(apparatus)입니다. 엔진, 카탈로그, 코퍼스는 Apache-2.0 라이선스로 공개됩니다.
일반화 계획(generalized planning)은 계획 도메인(planning domain)의 모든 인스턴스를 풀 수 있는 계획을 계산하는 것을 목표로 한다. 최근 연구는 LLM을 사용하여 Python 프로그램 형태의 이러한 일반화 계획을 자동으로 생성·디버깅하였고, 여러 도메인에서 테스트 데이터에 대한 완벽한 커버리지를 달성했다. 그러나 이러한 일반화 계획이 실제로 완전(complete)한지, 즉 도메인의 모든 인스턴스를 풀 수 있는지는 수동 평가로만 판별할 수 있었다. 본 논문에서는 입력으로 주어진 도메인 제약 사양에 대해 완전성을 증명하는 Lean 형식의 일반화 계획과 그 증명을 함께 자동 생성하는 방법을 제안한다. 의미 보존(semantic-preserving) PDDL-to-Lean 변환을 도입하고, LLM으로 도메인 제약을 만족하는 모든 인스턴스를 풀 수 있음을 보여주는 형식 증명과 일반화 계획을 모두 생성한다. 완전성 증명의 정확성은 Lean의 커널이 판정한다. LLM으로 GPT-5.6-Sol을 사용하여 널리 쓰이는 13개 벤치마크 도메인에서 방법을 평가한다. 12개 도메인에서는 유효한 완전성 증명과 함께 일반화 계획을 얻었다. 이는 자동 일반화 계획 완전성 증명 분야에서 최신 기술(state of the art)의 큰 진전이다.
2026년 8월 기준 미해결 상태인 68개의 에르되시(Erd\H{o}s) 문제로 구성된 벤치마크인 FrontierMath Erd\H{o}s(FME)를 소개합니다. FME의 과제를 해결하려면 AI 시스템이 증명 보조기(proof assistant) Lean에서 68개 추측 중 하나를 해결(증명 또는 반증)해야 합니다. 이 68개 문제는 수학적 흥미도와 난이도를 고려하여 erdosproblems.com에 등록된 652개의 미해결 문제 중 제2저자가 선정했습니다. 최근 AI가 수학 분야의 여러 미해결 문제를 해결하기도 했으나, 이러한 사례들은 AI 역량에 대한 체계적인 연구에는 미치지 못합니다. FME는 동일한 고정 문제에 대해 자율적이면서도 동일한 예산 조건 하에서 모든 AI 모델을 평가합니다. 우리는 문제당 \$300의 예산으로 5개의 AI를 평가했습니다. 그중 하나(GPT-6 Astra)가 3%를 기록했으며, 나머지 모델은 모두 0%를 기록했습니다.
LLM이 자연어를 형식화(formalize)할 때, 그 출력이 원문에 충실한지 어떻게 알 수 있을까? 본 논문은 정답 주석(ground-truth annotation)을 필요로 하지 않는 라운드트립 검증(roundtrip verification) 방식을 제안한다. 이 방식은 문장을 형식화하고, 그 결과를 다시 자연어로 번역한 뒤, 이를 재형식화하여 형식 도구(formal tool)로 논리적 동치성을 검사한다. 두 형식화 결과가 일치하면 이는 충실한 형식화임을 뒷받침하는 증거가 된다. 두 결과가 일치하지 않으면 단계 수준(stage-level) 진단을 통해 오류가 발생한 특정 번역 단계를 국소화하고, 범위 한정 수정 연산자(scoped repair operator)가 해당 단계를 바로잡으려 시도한다. 우리는 두 가지 법령 도메인(텍사스 교통법(Texas Transportation Code)과 텍사스 공원·야생동물법(Texas Parks and Wildlife Code))에서 두 가지 LLM(Claude Opus~4.6과 GPT-5.2)과 세 가지 수정 베이스라인을 사용하여 이 프레임워크를 평가한다. 진단 기반 범위 한정 수정이 가장 효과적인 방법이었으며, 그 효과는 진단 함수의 신뢰성에 좌우된다. 두 도메인과 두 모델 전반에서, 우리의 전체 수정 시스템 하에서 동치성 검사를 통과하지 못한 규칙은 통과한 규칙보다 자연어 추론(NLI) 드리프트(drift)가 1.4배에서 2.5배 더 크게 나타난다.