arXiv:2606.18098v1 cs.AI

IsabeLLM: 합의의 형식적 검증에 적용된 자동 정리 증명

IsabeLLM: Automated Theorem Proving Applied to Formally Verifying Consensus

Elliot Jones, William Knottenbelt

제출 2026-06-16

한국어 초록

인공지능(AI)의 발전으로 인해 정리 증명을 위한 AI가 컴퓨터 시스템의 형식적 검증을 위한 유망한 수단이 되었습니다. 형식적 검증은 전통적으로 필요한 전문 지식과 노력으로 인해 안전 중심(safety-critical) 시스템에만 국한되어 왔으나, AI는 이러한 작업 부하의 상당 부분을 자동화하여 접근성을 훨씬 높일 수 있습니다. 블록체인 기반 시스템은 점차 대중화되고 있으나 악의적인 행위자들의 빈번한 공격 대상이 되어 종종 막대한 재정적 손실을 초래하고 있어, 이러한 시스템을 더욱 철저히 검증하고 취약점을 완화할 필요성이 강조되고 있습니다. 이러한 시스템의 가장 중요한 구성 요소는 잠재적으로 적대적인 환경에서 노드가 결정에 합의할 수 있게 하는 합의 프로토콜입니다. 본 논문에서는 Isabelle의 자동 정리 증명 도구인 IsabeLLM을 개선합니다. 구체적으로, 대규모 언어 모델(LLM)에 제공되는 컨텍스트를 개선하기 위해 검색-증강 생성(RAG) 프레임워크, 오류 추적(error tracing), 그리고 반례(counterexample) 생성을 구현합니다. 또한 효율성을 높이기 위해 최신 버전의 Isabelle 및 Sledgehammer와의 호환성도 구현했습니다. 비트코인의 작업 증명(Proof of Work) 합의 검증을 완료하는 능력에 있어 IsabeLLM 두 버전의 성능을 비교합니다.

원문 초록

Advances in Artificial Intelligence (AI) have led AI for Theorem Proving to become a promising means of formally verifying computer systems. Whilst formal verification is traditionally reserved for safety-critical systems due to the required amount of expertise and effort, AI can help to automate a large amount of this workload and make it far more accessible. Blockchain-based systems are becoming increasingly popular and are frequently targeted by malicious actors, often resulting in huge financial losses, highlighting the need to better verify these systems and mitigate vulnerabilities. Arguably the most important component of these systems is the consensus protocol, which allows nodes to agree on decisions in a potentially adversarial environment. In this paper, we improve upon IsabeLLM, the automated theorem proving tool in Isabelle. Namely, we implement a Retrieval-Augmented Generation framework, Error tracing and counterexample generation for improved context supplied to the Large Language Model. Compatibility with the latest version of Isabelle and Sledgehammer is also implemented for improved efficiency. We compare the performance of the two versions of IsabeLLM in their ability to complete the verification of Bitcoin's Proof of Work consensus.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18098v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15882v1cs.AI공통 태그 Large Language Model, Retrieval-augmented Generation

엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구

Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory

저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.

arXiv:2610.15921v1cs.LG공통 태그 Large Language Model, Retrieval-augmented Generation

빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.

arXiv:2610.13461v1cs.AI공통 태그 theorem proving, formal verification

SqueezeBench: 포화에 강건한 수학적 능력 평가

SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability

AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.

arXiv:2610.13510v1cs.AI공통 태그 Large Language Model, Retrieval-augmented Generation

임상적 예후 예측을 위한 이종 근거 통합 기반 검색 증강 다중 모달 언어 모델

Retrieval-Augmented Multimodal Language Model with Heterogeneous Evidence Integration for Clinical Prognosis

임상적 예후 예측은 정형 측정치, 생체 신호 파형, 시계열적 과거 이력, 그리고 환자군 맥락의 통합을 필요로 한다. 본 연구에서는 특징(feature)별 수치 토큰화(tokenization), 시계열 심전도(ECG)의 최신성 가중 집계, 이중 모달 환자군 메모리 뱅크를 결합한 다중 모달 언어 모델(language model)인 PRISM(Population-Retrieved Inference for Structured Multimodal Prognosis)을 소개한다. 검색은 표현 공간에서 수행된다. 즉, 모델(model)은 유사한 학습(training) 코호트 진료의 평균 풀링(mean-pooled) 임베딩을 전달받으며, 검색된 개별 기록은 프롬프트(prompt)에 직접 입력되지 않는다. 1,443개 태스크로 구성된 MDS-ED 벤치마크에서 PRISM은 진단 86.2%, 악화 93.1%, 중환자실(ICU) 입원 91.8%, 사망률 92.8%의 AUROC를 달성한다. 이 결과는 기존 베이스라인에서는 사용할 수 없었던 내원 전 96시간 윈도우를 활용한 것이다. 벤치마크 표준 윈도우 입력만 사용했을 때 PRISM은 0.8895의 AUROC를 기록하며, 이는 UniPACT의 0.8937 및 MDS-ED의 0.8889와 비견된다. 동일한 5개 근거 스트림과 고정된(frozen) 인코더를 사용하는 입력 매칭 컴팩트 융합 모델이 0.7652 AUROC를 달성한 것에 비해 PRISM은 0.9092를 달성한다. 수치형 전자건강기록(EHR) 인코딩을 텍스트 직렬화로 대체하면 AUROC가 3.66포인트 감소하고, 내원 전 이력을 제거하면 1.97포인트 감소하며, 검색을 제거(zeroing)하면 0.99포인트 감소한다. 실제 검색은 무작위 이웃 검색 대비 매크로 평균 0.97포인트 앞서지만, 대응 태스크 수준 부호 검정에서는 일관된 우위를 확립하지 못했다(p=0.067). 외부 MC-MED 코호트에서 지도 미세조정(supervised fine-tuning)은 0.8611 AUROC를 기록하여, 로컬에서 학습된 그래디언트(gradient) 부스팅의 0.8227 및 소스 코호트 전용 PRISM의 0.7841보다 우수했다. 이러한 결과는 구조 인지적 다중 모달 통합 및 지도 외부 적응의 효용을 뒷받침한다.

arXiv:2610.02070v3cs.AI공통 태그 Large Language Model, Retrieval-augmented Generation

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.