기계학습 모델의 배포가 늘어남에 따라, 안전이 중요한 환경과 법적 준수 환경에서 이러한 모델의 강건성과 공정성에 대한 형식적 보장이 점점 더 중요해지고 있다. 그러나 모델 매개변수는 감사자나 최종 사용자에게 공개할 수 없는 상업적 비밀인 경우가 많다. 이를 위해 우리는 영지식 증명(ZKP)을 사용하여 비공개 매개변수를 드러내지 않고 모델의 강건성 및 공정성 속성을 증명하는 확장 가능한 시스템인 PANDA를 제시한다. PANDA는 신경망에 대한 다수의 최첨단 형식 검증 도구에서 사용되는 효율적인 강건성 인증 프레임워크인 CROWN 위에 구축되었다. PANDA의 핵심 기여는 비선형 활성화 계층에 대한 선형 완화 경계를 증명하는 새로운 알고리즘으로, 단순하고 가벼운 증명을 만들어 낸다. 놀랍게도 우리의 구현은 290만 개가 넘는 매개변수를 가진 신경망에 대한 국소 강건성 증명을 5분 만에 생성하고 10초 만에 검증할 수 있다. 기존의 ZKP 기반 강건성 시스템은 지수 시간 알고리즘에 의존하여 자명하지 않은 규모의 네트워크로 확장할 수 없다. 반면 PANDA는 네트워크의 뉴런 수에 대해 다항식으로 확장되어, 증명자 오버헤드를 크게 줄이면서 기존 접근법보다 4자릿수 더 큰 신경망을 지원할 수 있다.
Cube-and-Conquer(C&C)가 어려운 불리언 충족 가능성(SAT) 문제를 푸는 데 효과적임에도 불구하고, 트랜스포머 기반 모델이 효과적인 큐빙 휴리스틱을 학습할 수 있음을 보인 선행 연구는 없다. 본 연구는 이 과제를 위한 신경-기호적 사후 학습 프레임워크를 제안한다. SAT 대회 공식에 대한 분할 결정을 기호적 휴리스틱으로 탐색하는 MCTS 기반 데이터 구축 파이프라인을 설계하여, 솔버 통계에 기반하고 교사 모델의 추론 흔적으로 보강된 선호 데이터를 생성한다. 지도 미세 조정(SFT)에 이어 직접 선호 최적화(DPO)를 수행하는 2단계 사후 학습을 통해, 40억 파라미터 모델은 100개의 SAT 대회 벤치마크에서 pass@5 점수 53을 달성하여 Claude-Sonnet-4(50)와 같은 최전선 LLM을 능가하고, 벤치마크당 다섯 번의 시도 기준으로 최고의 기호적 휴리스틱(53)과 대등한 성능을 보였다. 다만 단일 시도에서는 기호적 휴리스틱이 여전히 더 바람직하다. 절제 실험 결과 SFT만으로 pass@5가 46에서 51로 향상되며 DPO는 2개의 벤치마크를 추가로 개선한다. 실제 첫 큐브 결정에 대한 엔트로피/일치도 절제 실험은 결정론적 기호 방법에 대해 실행별로 상호 보완적인 커버리지를 만들어내는 루트 수준 결정 다양성이 DPO가 아니라 SFT에서 비롯됨을 추가로 보여준다. 이는 전통적으로 기호적 방법이 지배해 온 영역에서 트랜스포머가 효과적인 큐빙 결정을 내리도록 학습될 수 있음을 보여준다.
텍스트-코드 변환의 근본적인 한계는 생성된 코드의 정확성에 대해 어떠한 보장도 얻을 수 없다는 점이다. 따라서 정확성을 보장하려면 생성된 코드를 여전히 개발자가 검토, 테스트, 유지보수해야 한다. 그러나 LLM이 생성한 코드를 살펴보는 일은 지루하고 시간이 많이 소요될 수 있어, AI 코딩 도구가 약속하는 생산성 향상을 상쇄할 가능성이 있다. 이 문제를 해결하기 위해, 사용자가 생성된 프로그램을 이해하도록 돕고자 생성된 코드와 함께 형식적으로 검증된 주석을 자동으로 생성하는 시스템인 Viverra를 제시한다. 자연어 과제 설명이 주어지면, Viverra는 LLM에 프롬프트를 제공하여 안전성과 정확성 속성을 표현하는 후보 단언문(assertion)과 함께 C 프로그램을 합성한다. 이후 한계 모델 검사기(bounded model checker)들의 포트폴리오를 통해 합성적(compositional)이고 최선 노력(best-effort) 방식으로 이러한 단언문을 검증한다. 17개의 다양한 프로그래밍 과제에 대한 평가는 Viverra가 검증된 단언문을 갖춘 코드를 효율적으로 생성할 수 있으며, 400건이 넘는 과제 수행을 포함한 사용자 연구에서 이러한 단언문이 코드 이해 과제에서 사용자의 성과를 향상시킴을 시사한다.
확률적 해집합 프로그래밍(PASP)은 해집합 프로그래밍(ASP)을 확장하여 불확실한 데이터를 표현할 수 있게 한다. 사용 가능한 여러 의미론 중 본 논문은 크레달 의미론에 초점을 맞춘다. 이 설정에서 기존 연구는 최적화 구성 요소가 없는 일반 ASP 프로그램에만 집중해 왔다. 그러나 많은 실제 과제는 가능한 해에 대한 최적성 기준을 정의하며, 이는 기존의 확률적 ASP 프레임워크로는 편리하게 모델링할 수 없다. 본 논문은 이러한 격차를 해소하기 위해, ASP의 표준 최적화 구성 요소인 약한 제약을 추가로 허용하여 PASP를 확장한 최적 확률적 해집합 프로그래밍을 제안한다. 이러한 프로그램의 의미론을 정의하고, 추론 및 최대 확률 설명 과제의 계산 복잡도를 연구하며, 대수적 모델 카운팅과 한정자를 가진 해집합 프로그래밍에 기반한 실용적 구현을 제안한다. 세 가지 실제 과제에 대한 제안 방식의 실증 평가는 본 프레임워크의 적용 가능성을 확인해 준다.
OpenAI의 에이전트는 2026년 7월 Hugging Face를 침해했고, 같은 회사는 2026년 10월 AI가 생성한 700편 이상의 수학적 증명 원고를 공개했다. 첫 번째 사건은 보안의 실패로, 두 번째 사건은 수학의 성공으로 해석된다. 우리는 두 사건을 우리 논문(Kim and Kang, 2026, arXiv:2611.01914)의 혼합 프레임워크로 해석한다. 이 프레임워크에서 코딩, 증명, 데이터로부터의 학습은 동일한 연역적 메커니즘에 의한 도출이며, 도출의 전제가 되는 종류에 따라 구분된다. 이 프레임워크에 따르면 두 사건의 배후에 있는 AI 시스템은 동일한 루프를 실행했는데, 통계적 제안기가 후보 익스플로잇이나 증명을 생성하고 연역적 검증기가 도출을 통해 각각을 판정하는 것이다. 두 사건을 구분하는 것은 보안과 수학이라는 두 영역이 각각 원하는 진술의 논리적 형태이다. 프로그램의 안전성은 익스플로잇이 존재하지 않는다는 것을 말하므로 $\Pi_1$ 진술이며, 프로그램이 통과한 어떠한 유한한 테스트 목록으로도 보장되지 않는다. 반면 문장의 증명 가능성은 증명이 존재한다는 것을 말하므로 $\Sigma_1$ 진술이며, 단 하나의 사례, 즉 연역적 검증기가 검증한 증명 하나로 보장된다. 두 경우의 배후에 있는 정리는 튜링의 결정 불가능성 정리이다. 정지 집합은 $\Sigma_1$이지만 결정 가능하지 않으므로 그 여집합은 $\Pi_1$이며 $\Sigma_1$이 아니다. 이는 소속에는 유한한 증거가 있지만 비소속에는 그러한 증거가 없다는 뜻이다. 우리는 제안기가 아무리 우수하더라도 통계적 제안기를 연역적 검증기에 결합해도 이 결정 불가능성 결과가 바뀌지 않음을 증명한다. 이어서 무엇이 안전성을 보장하는지, 그리고 잔여 위험이 어디로 가는지를 논의한다.
국가 디지털 트윈은 공통 기반에 대한 매핑으로 연결된 트윈들의 생태계로 구상되었으나, 그 매핑이 유효함을 확인하겠다고 약속하는 로드맵은 유효하다는 것이 무엇을 뜻하는지 밝히지 않는다. 우리는 논리 기반 정렬 복구에서 차용한, 병합된 온톨로지의 일관성과 보존성이라는 정밀한 형태로 이 검사를 제시하고, 이를 정보 교환 표준(IES)에 먼저 쌍별로, 이어서 허브 전체에 적용한다. 건물 온톨로지 BOT, Brick, SAREF4BLDG를 기점으로 IES에서 일곱 개 부문 그룹의 열세 개 온톨로지로 이어지는 크로스워크는 매칭, 인간 검토, 두 클래스 계층에 대한 각 SKOS 대응의 인증, HermiT를 이용한 추론이라는 별개의 단계를 거친다. 쌍별로 보면 각 단계는 서로 다른 실패를 포착한다. 인증만으로 원본 크로스워크의 보존성 위반 526건이 모두 제거되었고, 검토만으로는 73건이 남았으며, 둘을 함께 적용하자 겹치는 열두 쌍 중 열한 쌍이 일관적이고 보존적이 되었다. 쌍별 인증은 합성되지 않는다. 인증된 건물 크로스워크 세 개를 하나의 허브로 병합하자, IES와 Brick의 '층(floor)' 개념 사이의 동음이의어 때문에 다섯 개의 Brick 클래스가 충족 불가능해졌는데, 이는 BOT의 분리 공리만이 드러낸다. 그 한 행을 기각하자 아무도 기록하지 않은 온톨로지 간 링크 290개를 함의하는, 일관적이고 보존적인 허브가 되었다. 핵심 허브는 크로스워크를 추가하기 전부터 비일관적인데, 공개된 두 표준인 Open Energy Ontology와 BFO 2020이 서로 모순되기 때문이다. 둘 중 하나를 제외하면 허브는 일관적이고 보존적이다. 트윈 생태계가 인증해야 하는 단위는 쌍이 아니라 허브이다.
본 논문은 명령형 관계형 프로그램에 대한 Lean 인증 추론 시스템인 Whiel(Whi(le-R)el의 축약어)을 제시한다. 이 시스템은 Datalog, 부정을 포함하는 확장, 그래프 질의 언어의 핵심 부분집합에 대한 포함 및 동치 문제를 인코딩할 수 있다. 또한 원래 질의 언어로는 표현할 수 없는 최적화되거나 점진적인 평가 알고리즘, 그리고 데이터 통합, 교환, 공유에서 나타나는 무결성 제약, 스키마 매핑, 뷰에 대한 1차 논리 명세도 표현할 수 있다. Whiel의 프로그램 상태는 데이터베이스 인스턴스이며, 그 명령형 구조는 예언 변수와 계층화된 불변식을 사용하여 귀납적 논증을 뒷받침함으로써 1차 관계형 명세를 사용한 합성적 Hoare 방식 추론을 가능하게 한다. Whiel은 검증 조건을 Vampire 1차 정리 증명기로 검사할 수 있는 루프 불변식을 신경기호 방식으로 발견하도록 지원한다. 반례는 신경기호 파이프라인에 다시 입력되고, 제안된 해는 Lean 증명 인증서로 변환된다. Whiel 시스템을 검증하기 위해 선별된 벤치마크 모음에서 성능을 평가한다. 요컨대 우리는 Whiel 시스템을 복잡한 질의 및 제약 언어와 관련된, 수학적으로 어렵고 일반적으로 결정 불가능한 문제를 출력에 대한 높은 신뢰도로 다루는 도구로 구상한다.
콘텐츠 조정은 단계적이고 논쟁의 여지가 있는 인간의 판단을 수십억 건의 항목에 대해 이진적 행위(게시 유지/삭제)로 압축하며, 이러한 규모에서는 모든 게시물에 최첨단 LLM을 실행하는 것이 경제적이지 않다. 고정된 "System One" 모델이라는 새로운 부류는 텍스트 대신 유형화되고 보정된 결정을 호출당 약 0.000025달러, 약 100ms에 반환한다. 우리는 이러한 모델 하나에 대해 사람이 레이블링한 댓글 142,658개를 사용한 최초의 독립 감사를 수행하고, 공통 프로브 집합에서 14개의 최첨단 추론 모델(GPT-5.x, Claude, Gemini 3, Grok 계열)과 비교 평가한다. 두 가지 발견이 두드러진다. 첫째, 저비용 모델은 정확도 면에서 경쟁력이 있다. 제로샷 분류 AUROC(0.83)는 14개 최첨단 시스템 중 13개와 통계적으로 구분되지 않으며(대응 부트스트랩, n=56; 동등성의 증명이 아니라 동등성 기각의 실패이다) 비용은 1~3자릿수 낮고, 보정 수준도 그중 여러 모델보다 나쁘지 않다. 둘째, "신뢰도"는 서로 분리되는 두 불확실성을 혼합한다. 하나는 사람 간 불일치(주석자들이 풍자와 암호화된 언어에서 갈리는 경우)이고, 다른 하나는 의사결정 위험(자동 조치가 잘못되었을 때 비용이 큰 경우)이다. 비대칭적인 조정 손실 하에서 이 둘은 서로 반대되는 에스컬레이션 신호를 요구하므로, 단일 신뢰도 수치로는 둘 다 충족할 수 없다. 이 모델은 추가 질문의 비용이 거의 0이므로, 판단을 병렬 하위 질문으로 분해하고 그 분산을 읽으면 모델의 고유 신뢰도가 놓치는 사람 간 불일치 신호를 복원할 수 있다. 그러나 이 해결책은 한정적이어서, 불일치를 인식하지 못하는 가장 약한 모델에만, 그리고 분해가 불일치의 원천과 일치할 때에만 도움이 되며, 전문 독성 모델과 가장 강력한 LLM에는 필요하지 않고 그 효과는 분포에 민감하다. 우리는 측정 도구, 캐시된 실행 결과, 분석을 공개할 것이다.
사람을 위해 작성된 규칙은 원자 조건과 접속사는 정하지만 접속사를 어떻게 묶을지는 열어 두며, 각 묶음 방식은 자동 형式화기가 해소하거나 드러내야 하는 서로 다른 논리적 해석이 된다. 우리는 범위 문법(scope grammar)을 연구한다. 이는 의도적으로 모호한 문맥 자유 문법으로, 그 유도 트리는 접속사 골격의 해석에 해당하며 논리적 동치에 의한 몫집합이 후속 단계에서 중요하다. 이항 접속사 $k$개를 가진 골격은 $k$번째 카탈랑 수인 $C_k$개의 유도 트리를 갖지만, 논리적으로 구별되는 해석은 훨씬 적다. 양의, 반복 없는 단편에 대해 우리는 이 간극을 정확히 규명한다. 단일 읽기 정규형의 유일성을 통해 실현 가능한 정규형을 최소 공통 조상으로 특성화하고, 연산자 단어에 대한 두 레이블 점화식으로 그 수를 세며, 원자 11개까지의 전수 열거로 검증한다. 이 수는 뒤집기와 $\wedge/\vee$ 쌍대성에 대해 불변이다. 골격이 모호한 것은 $\wedge$와 $\vee$를 모두 사용하는 경우와 동치이며 이는 한 번의 순회로 판별할 수 있다. 또한 클래스의 수는 적어도 $2^{\lfloor n/3\rfloor}$이다. 원자 15개까지는 교대 패턴이 최악의 경우이며, 그 수는 3차 생성 함수를 가지고 3-슈뢰더 수열(OEIS A137842)이며, 밑 $\varphi^{5/2}\approx3.330$으로 증가하여 카탈랑 밑 4보다 작다. 우리는 최대성을 증분에 대한 부등식으로 환원하고 원자 16개까지 검증하며, 국소 교환 논증으로는 이를 증명할 수 없는 이유를 설명한다. 또한 부정, 예외, 배경 공리를 다루는데, 여기서도 정규형의 유일성은 동치를 결정하지만 계수는 미해결이다.
우리는 순전파 사이에 잠재 상태를 격자를 통해 사영함으로써 논리적으로 건전한 연역을 근사하는 순환 트랜스포머인 격자 연역 트랜스포머(Lattice Deduction Transformer, LDT)를 소개한다. 우리는 탐색 기반 제약 해결기의 연역 과정을 반영하는 방식으로 온폴리시 학습을 수행하며, 추상 해석에 기반한 해 후보 집합의 도메인 비종속적 근사를 통해 학습을 지도한다. 80만 개 파라미터의 LDT는 추정 학습 FLOPs의 2% 미만만을 사용하면서 Sudoku-Extreme에서 기존의 소형 순환 추론기를 능가하며, 테스트 퍼즐 $422{,}786$개 중 $99.999\%$를 해결한다. 이 모델은 거의 항상 건전하여, 127만 번의 퍼즐 평가 중 4번만 오답을 내고 그 외에는 정답을 반환하거나 응답을 보류한다. 180만 개 파라미터의 LDT 변형은 Maze-Hard에서 $99.8\%$의 정확도에 도달한다. 코드는 github.com/lcrh/lattice-deduction-transformers에서 확인할 수 있다.
언어 모델은 대부분의 긴 산술 문제에서 정확하지만, 그 정확도는 표본을 통해 추정되는 값이어서 보지 못한 입력에 대해서는 어떠한 보장도 제공하지 못한다. 도구 사용은 정확하지만 계산을 네트워크 외부로 옮긴다. 본 연구는 네트워크의 각 단계가 외부 작업 메모리의 제한된 뷰만을 읽을 때, 모든 입력 길이에 대한 정확성이 네트워크의 유한하고 검증 가능한 성질이 됨을 보인다. Sketchpad에서는 저랭크 어댑터를 장착한 Qwen3.5-0.8B가 렌더링된 시트 위에서 산술 절차를 실행한다. 각 순전파는 세 칸짜리 뷰를 읽고 숫자, 올림 또는 빌림, 다음 연산이라는 한 단계를 출력한다. 고정된 런타임이 뷰를 이동시키며 결과의 어떤 숫자도 직접 쓰지 않는다. 우리는 이 경우 모델이 임의 길이의 모든 입력에 대해 정확한 것과, 런타임이 제시하는 유한한 뷰 집합에 대해 정확한 것이 동치임을 Lean으로 증명한다. 또한 단계가 이전 단계도 읽는 경우에는 어떤 유한한 테스트로도 충분하지 않으며, 이 보장이 제한된 수치 섭동을 허용하고 절차의 합성으로 확장됨을 증명한다. 2,446개의 뷰 모두가 웹 브라우저에서 모델을 실행하는 노트북 GPU인 배포 기기에서 통과한다. 인증된 모델은 부호 있는 덧셈과 뺄셈, 긴 곱셈과 나눗셈, 제곱근, 최대공약수를 임의 길이로 수행한다. 이 모델은 사전 등록된 문제 200개 중 200개를 브라우저에서 풀었으며, 최대 1,000자리 합과 최대 20자리 곱 220개 중 220개를 풀었다. 같은 문제에서 다른 10개 모델 중 가장 강력한 GPT-6.1 Sol은 217개를 풀었다. 이 절차들 위에 구축한 기호 런타임은 모든 수를 모델이 계산하면서 다항식을 풀고, 전개하고, 인수분해한다. 어댑터의 곱셈 게이트는 시트를 사용하지 않을 때 기반 모델을 정확히 복원한다.
비전-언어-행동(VLA) 모델은 과제 전반에 걸쳐 일반화하지만, 자기회귀 디코더는 행동 지평에 비례하는 순차적 순전파를 필요로 하며, 각 순전파는 수십억 개의 파라미터를 메모리에서 스트리밍해야 하므로 임베디드 항공 플랫폼에서 하한이 제한된다. 우리는 엣지 하드웨어에서의 3D 내비게이션을 위한 경량 비전-예측기-행동(Vision-Predictor-Action) 아키텍처인 Aero-VPA를 제안한다. 픽셀 재구성 없이 학습된 소형 RGB-D 비전 트랜스포머와 다섯 헤드 앙상블 예측기가 다음 잠재 상태를 예측하고, 조건부 플로 매칭 솔버가 두 번의 오일러 단계로 속도 및 요 각속도 청크를 생성하므로 각 결정은 다섯 번의 순차적 네트워크 평가로 이루어지며, 앙상블 분산이 불확실성 폴백을 구동한다. 버전 1은 결과 없이 아키텍처, 배포, 프로토콜을 명시하였다. 이번 버전은 절차적으로 생성된 숲에서 쿼드로터 임무를 PX4 소프트웨어-인-더-루프로 시뮬레이션한 첫 폐루프 평가를 보고한다. 행동 복제는 개루프 오차가 0.02-0.04 m/s였음에도 60개 임무 모두에서 실패하였으며, 정책이 자신의 마지막 명령을 복사하는 인과적 혼동의 모방(copycat) 형태이다. 특권 정보를 가진 안전 게이트 감독자를 이용한 DAgger는 첫 성공을 가져왔으나 여섯 체크포인트에서 11.1-21.1%에 머물렀다. 15초 깊이 메모리, 장벽 제약, 73도 시야 밖 움직임에 대한 상한, 비행한 경로를 따른 후퇴를 갖춘 지도 없는 런타임 실드는 180개의 쌍을 이룬 임무에서 첫 DAgger 정책의 성공률을 21.1%에서 52.2%(95% CI [45.0, 59.4]; 정확 McNemar p = 1.2 x 10^-10)로 높이고 충돌을 72.2%에서 22.2%로 줄였으나, 시간 초과는 2.8%에서 23.3%로 증가하였다. 여섯 체크포인트 모두 평균 속도 1.16-1.36 m/s에서 30.0-34.4%p 향상되었다. 코드(https://github.com/ylee-sling/Aero-VPA), 학습된 정책(72.6 MB, https://huggingface.co/ylee-sling/aero-vpa), 전체 벤치마크 데이터셋은 공개되어 있다.
AI 시스템은 이제 길고 어려운 수학 증명을 작성하며, 그 단계별 타당성을 검사하는 일이 병목이 되고 있다. 학습된 검증기는 증명을 저렴하게 검사할 수 있지만, 이를 학습시키려면 모든 단계에 정답 레이블이 필요하고, 개방형 증명에서는 이러한 레이블을 얻기 어렵다. 기존 방법은 비용이 많이 드는 사람 주석자로부터 레이블을 얻거나, 증명에는 존재하지 않는 최종 답으로부터 도출하며, 각 증명을 Lean으로 형식화하려면 전문가의 노력이 필요하다. 우리는 Lean 증명 보조기를 사용하여 자연어 증명에 대한 단계 수준 레이블을 생성하는 프레임워크인 LeanPRM을 소개한다. 모델은 Lean의 피드백 없이 자연어 증명과 짝을 이루는 형식 증명을 함께 작성한다. 이후 Lean이 모든 단계에 레이블을 부여하고, 두 번째 모델이 형식 구문 때문에만 발생한 실패를 제거하여 부정 레이블이 수학적 오류를 나타내도록 한다. LeanPRM은 사람의 주석 없이 152K개의 레이블된 단계를 가진 10,634개의 증명을 포함한다. LeanPRM으로 학습한 Qwen3-4B 검증기는 보류된 200개 증명 집합(LeanPRM-Bench)에서 정확한 단계 레이블 정확도를 48.2에서 74.7로 높였으며, 동일한 기반 모델을 PRM800K로 학습했을 때는 60.3이었다. 또한 IMO 수준 문제에서의 best-of-N 선택에서 더 나은 증명을 선택하고, 네 개의 외부 검증 벤치마크 중 세 개에서 PRM800K로 학습한 검증기를 능가한다. LeanPRM으로 학습하면 LeanPRM-Bench, Hard2Verify, IMO-GradingBench에서 0.6B부터 8B 매개변수까지 모든 크기의 검증기가 향상된다. 레이블에 사람의 주석이 필요하지 않으므로, LeanPRM은 형식 명제의 공급에 따라 확장될 수 있으며, 사람이 검사하기 어려운 AI 생성 증명에 대한 단계 수준 피드백의 길을 제시한다.
Lean과 Mathlib 생태계는 최근 몇 년간 놀라운 성과와 함께 대규모 언어 모델(LLM) 기반 형식 추론의 사실상 표준이 되었다. 그러나 이러한 성과는 Mathlib을 필수 의존성으로 사용할 뿐 직접 기여하지는 않는다. 한편 Mathlib의 성장은 최근 리뷰 과정에서 병목을 겪고 있는데, 이 과정에서는 사람 리뷰어가 제안된 풀 리퀘스트(PR)가 Mathlib의 관례를 따르는지, 그리고 공유 수학 인프라의 일부로 통합할 가치가 있는지를 판단해야 한다. 이는 우리의 핵심 질문으로 이어진다. LLM이 Mathlib PR 리뷰를 도울 수 있는가? 이를 위해 우리는 실제 Mathlib4 PR 이력으로 구축한 벤치마크인 MathlibPR을 소개한다. 또한 단계별 평가 프로토콜을 제안하고, 이를 사용하여 LLM 모델(예: DeepSeek, Qwen, Goedel, Kimina)과 LLM 에이전트(예: Codex, Claude Code)를 모두 평가한다. 놀랍게도 LLM 모델과 LLM 에이전트 모두 병합 준비가 된 PR과, 빌드는 통과했으나 수정되었거나 끝내 병합되지 않은 PR을 구분하는 데 어려움을 겪는다. MathlibPR은 Mathlib PR 이력을 지도 신호로 전환함으로써, PR 평가를 돕고 LLM이 병합 가능한 Mathlib 기여를 생성하도록 이끌 수 있는 리뷰어 보조 도구와 보상 모델을 향한 한 걸음을 제공한다.
TLAPS-Bench는 에이전트형 AI를 활용하여 TLA+로 작성된 실제 시스템 명세에 대한 기계 검증 증명을 구성하기 위한 벤치마크이자 실행 하네스이다. 복잡한 시스템 명세의 정확성을 증명하려면 귀납적 불변식을 발견하고, 복잡한 상태 전이를 추론하며, 증명을 다루기 쉬운 의무 조건들로 분해해야 한다. TLAPS-Bench는 TLA+ 증명 시스템(TLAPS) 위에서 반복적인 증명 개발을 지원하는 증명 하네스를 제공하며, 여기서 에이전트는 증명 도구와 라이브러리를 갖추고 보상 해킹을 방지하는 안전장치를 적용받는다. 이 하네스를 사용하여 우리는 AI 에이전트로 이전에 증명되지 않았던 중요한 시스템 명세의 원하는 속성을 증명했으며, 그 범위는 캐시 일관성, 비잔틴 합의, 선행 기록 로그에 걸친다. TLAPS-Bench는 실제 시스템의 TLA+ 명세 95개로부터 얻은 265개의 증명 대상(각각 증명할 속성 하나를 인코딩함)을 포함한다. 우리는 GPT 모델을 사용하는 Codex로 대표되는 최첨단 AI 에이전트를 12개 명세에 걸친 70개 증명 대상의 부분집합에서 평가했다. 최고 점수 모델인 GPT-6.1 Sol (max)은 증명 대상 31개(44.3%)를 증명했다. 이 결과는 종단간 증명 개발의 과제와 기회를 보여 준다.
우리는 너비 4의 고정된 ReLU 네트워크 $N$의 반복, 즉 $[0,1]^4$ 위의 이산 시간 시스템 $x_{k+1} = N(x_k)$를 연구한다. 이는 $x_k$가 $N$의 사본 $k$개로 이루어진 가중치 공유 네트워크, 또는 외부 입력 없이 $x_0$에서 시작하는 순환 신경망의 출력인 것과 동치이다. 우리는 모든 결정적 튜링 기계 $M$에 대해 이러한 네트워크 $N_M$이 존재함을 증명한다. 이 네트워크는 $M$으로부터 다항 시간에 구성할 수 있다. 각 반복의 깊이는 $\mathrm{poly}(|M|)$이다. $N_M$의 반복은 인코딩된 모든 테이프에서 $M$을 정확히 시뮬레이션한다. 반복 횟수는 $M$의 실행 시간에 비례한다. 더 나아가, 네 번째 좌표는 시뮬레이션이 유효하지 않은 숫자를 읽는 볼록 정육면체 $[0,1]^4$의 모든 점을 비가역적으로 표시한다. 이 표시는 실용적 검증기가 다루는 영역인 볼록 입력 영역에서 어려움 환원이 건전하도록 만드는 증명서이다. 볼록 영역은 ReLU 네트워크에 내재한 연속성 장애물 때문에 이전에는 접근할 수 없었다. 이 대응은 세 가지 결과를 낳는다. 첫째, 반복되는 너비 4 ReLU 네트워크의 도달 가능성은 시간 한계라는 단일 축을 따라 전체 복잡도 계층을 아우른다. 즉, 단항 한계에서는 NP-완전, 이진 한계에서는 NEXP-완전, 한계가 없으면 RE-완전(결정 불가능)이다. 둘째, 두 개의 추가 뉴런 너비만으로 어려움을 모든 일반적인 매끄러운 활성화 함수로 확장할 수 있다. 너비 6에서 강건 검증 문제($\delta/2\delta$ 간극이 있는 약속 문제)는 $\tanh$, 시그모이드, GELU, Swish, ELU, 그리고 다항 시간에 계산 가능한 립시츠 상수를 가진 다항 시간 계산 가능한 연속 비다항 활성화 함수 모두에 대해 NP-완전이다. 셋째, 전체 스펙트럼은 차원 5의 이산화된 신경 ODE로 전이된다.
본 논문은 기계가 함수를 성공적으로 계산할 때, 즉 각 입력에 대해 반환하는 값이 형식 체계에서 적절한 도출을 갖출 때 그 함수를 학습한다고 보는 새로운 기계학습의 정의를 제안한다. 우리는 계산과 도출을 동치로 놓는 괴델의 표현 가능성 정리를 두 가지 방식으로 경험적 대상에 확장한다. 하나는 정리를 계산 가능한 실수로 확장하는 것이고, 다른 하나는 관측된 바를 기록하는 경험적 정의로서 데이터를 체계에 받아들이는 것이다. 우리는 기계가 참 확률을 학습하는 것이 두 조건이 충족되는 것과 동치임을 증명한다. 진리 조건은 추정치가 참 확률로 수렴한다는 것으로, 이는 통계적 일관성이다. 보증 조건은 기계가 자신의 수렴을 체계 내부에서 적절히 도출한다는 것이다. 따라서 학습은 통계적 일관성을 넘어서는데, 기록으로부터 수렴을 도출해야 하기 때문이다. i.i.d. 가정과 같이 데이터에 대한 전역적 가정은 이러한 도출을 제공하지 못하며, PAC 학습에서 보이듯 순환적인 도출로 이어질 뿐이다. 반면 유한한 이상적 코퍼스 위의 문장 확률에 대해서는 두 조건이 충족된다. 실제 기계는 이상적 기계가 정확히 학습할 수 있는 경우에만, 즉 두 조건을 충족하는 영역에서만 참 확률을 근사할 수 있다. 현대 AI는 그러한 영역에서 작동하며, 우리는 이를 그 성공의 단서로 제시한다. 현대 AI는 두 가지 의미에서도 하이브리드이다. 첫째, 다음 단어 예측과 같은 확률적 과제와 증명 및 코딩과 같은 연역적 과제라는 두 종류의 과제를 수행한다. 둘째, 증명과 코딩을 위해 통계적 제안기와 연역적 검증기라는 서로 다른 종류의 두 부분을 결합한다. 우리의 틀은 두 가지 하이브리드성을 하나의 형식 체계로 설명한다.
Lean 증명 보조기의 커널은 증명이 해당 명제를 성립시키는지 검사한다. 명제가 의도한 바를 말하는지는 사람 검토자에게 맡겨져 있다. 이는 명세 검증이라는 오래된 문제이며, 언어 모델이 형식 명제를 대량으로 작성하고 에이전트가 형식 개발물을 지속적으로 편집하면서 더욱 시급해지고 있다. 본 논문은 검토자가 Lean 명제를 판단하도록 돕고 개발물이 변하는 동안에도 그 판단을 유효하게 유지하는 도구인 ProofPatch를 제시한다. 검토자는 가설이 필요한지, 반례가 존재하는지와 같은 명제에 대한 표적 질문을 커널에 던질 수 있다. 각 결정은 Lean이 정교화(elaborate)한 명제와 그 명제가 의존하는 정의들의 지문(fingerprint)과 함께 저장되며, 어떤 선언이든 고정(pin)할 수 있어 이를 변경하는 패치는 사람이 작성했든 대규모 언어 모델(LLM) 기반 에이전트가 작성했든 차단된다. 소스 텍스트가 아니라 정교화된 항을 대상으로 작업하는 것이 핵심 설계 선택이다. 표기법과 서식의 변경은 결정을 그대로 유지시키고, 정의의 변경은 그것을 사용하는 모든 정리에 반영된다. Lean의 수학 라이브러리인 Mathlib의 연속된 개정 229쌍에서 ProofPatch는 합성 결정 12,898개 중 118개를 재검토로 되돌린다. 텍스트 기반의 모든 대안은 이 중 최소 38개를 놓치거나 최소 13배 많은 결정을 되돌린다. 레이블이 달린 명제 1,527개에서 커널 증거는 충실하지 않은 명제를 0.88~0.96의 정밀도로 표시하며, LLM 에이전트의 344회 실행에서 고정된 명제에 대한 변경은 하나도 통과하지 못했다.
동시성 소프트웨어는 운영체제와 데이터베이스를 포함한 핵심 인프라를 뒷받침하지만, 스레드 간 상호작용에는 기존 테스트로는 발견되지 않는 버그가 존재할 수 있다. Verus는 Rust에 형식 검증 기능을 확장하여 개발자가 동일한 언어로 동시성 코드의 정확성을 명세하고 구현하며 증명할 수 있게 한다. 자동 증명 구성을 위한 코딩 에이전트가 연구되어 왔으나, 기존 Verus 벤치마크는 원자적 연산을 추상 프로토콜과 연결하는 동시성 특화 예제를 제한적으로만 다룬다. 이러한 공백을 해소하기 위해 우리는 네 개의 오픈소스 프로젝트에서 도출한, 동시성 증명 수리 전용의 최초 벤치마크인 VerusWeave를 소개한다. 이 벤치마크는 저수준 동시성 코드를 검증하는 데 사용되는 기능을 다루는 75개의 집중 과제와 17개의 전체 모듈 변형으로 구성된다. 과제는 선택된 증명 주석을 제거하고, 실행 가능한 코드와 명세는 보존한 채 에이전트가 빈틈을 채우도록 요구한다. 평가 하니스는 Verus와 변경 검사기를 사용하여 수리 결과를 검증하고, 해결책, 실행 추적, 자원 사용량을 기록한다. 네 가지 범용 코딩 에이전트 하니스에 대한 초기 평가에서 집중 과제는 75-85%, 전체 모듈 변형은 29-47%의 성공률을 보였으며, 이는 모듈 전체에 걸친 자율적 수리의 어려움을 보여 준다. VerusWeave는 동시성 소프트웨어를 위한 자동 증명 구성을 평가하는 재사용 가능한 기반을 제공한다.
ReLU 신경망의 깊이 하한은 충분히 얕은 모든 신경망이 어떤 입력에서는 실패함을 주장한다. 그러한 하한의 증명은 무엇을 계산하는가? 우리는 은닉층의 수로 깊이를 측정하며, $n$개의 실수 입력의 최댓값을 정확히 계산하는 문제에 대해 이 질문을 연구한다. 각각 따로 고정된 모든 소수 $q$와 깊이 한계 $K$에 대하여, 은닉층이 최대 $K$개이고 입력이 $q^K$개보다 많으며 편향이 아닌 가중치의 기약 분모가 $q$로 나누어지지 않는 유리수 신경망에 대해 균일 $\mathsf{TC}^0$ 반증기를 제시한다. 편향은 임의의 유리수일 수 있다. 이 반증기는 신경망이 실패하는 유리수 입력을 찾아내며, 그 정당성은 균일 상수 깊이 임계 계산의 유계 산술 이론인 $\mathbf{VTC}^0$에서 증명 가능하다. 기저의 수치적 깊이 하한은 Haase, Hertrich, Loho(ICLR 2023)를 확장한 Averkov, Hojny, Merkert(ICLR 2025)에서 도출되며, 본 연구의 기여는 그 기하학적 논증을 실행 가능한 반증기로 만드는 내부 증명을 제시한 것이다. 구성 측면에서는 $\mathbf{VTC}^0$가 깊이 $\lceil\log_2 n\rceil$인 균형 정수 가중치 최댓값 신경망에 대한 국소적으로 검사 가능한 증명서를 검증한다. $q=2$에서는 구성과 반증기가 맞물린다. 즉 각 고정된 $K$에 대해, 이 이론은 편향이 아닌 가중치가 정수이고 편향이 임의의 유리수인 신경망이 은닉층 최대 $K$개로 최댓값을 정확히 계산할 수 있는 것이 $n\le 2^K$일 때와 동치임을 검증한다. 또한 다항 길이의 인코딩과 깊이 $O(\log n/\log\log n)$를 갖는 증명된 유리수 구성도 제시한다. 이러한 결과는 증명 이중성을 구체화한다. 즉 증명된 존재성에 대한 유계 증명과 반증에 대한 유계 증명은 각각, 이론이 그 보장을 증명하는 임계 계산 가능 구성기와 반증기에 대응한다.