코드 에이전트를 활용한 자동 소프트웨어 검증
Harnessing Code Agents for Automatic Software Verification
한국어 초록
형식 검증(formal verification)은 소프트웨어 정확성에 대한 가장 강력한 보증을 제공하지만 확장성이 부족하다는 문제가 있습니다. Coq와 같은 대화형 정리 증명기(interactive theorem prover)가 요구하는 증명에는 방대한 전문가 노력이 필요합니다. 대규모 언어 모델(LLM)은 이러한 증명을 자동으로 생성할 것으로 기대되지만, 기존 접근법들은 사람이 설계한 고정된 증명 전략을 시스템에 내장하여 모델이 이를 따르도록 제약합니다(전제를 검색하고 전술을 한 단계씩 예측하거나, 분할 정복으로 목표를 분리하는 방식). 그럼에도 목표 정리의 일부만 증명하는 데 그칩니다. 우리는 이러한 전략을 강제하는 것이 불필요하며 오히려 제한적임을 보입니다. 전체 보조 정리(lemma)를 범용 LLM 코드 에이전트(예: Claude Code)에 넘겨 에이전트가 자유롭게 접근 방식을 선택하도록 하고, 이를 검증 하네스(verification harness)로 감싸는 방식은 더 단순하면서도 효과적이어서 완전한 커버리지를 달성합니다. 즉, 대상 보조 정리 전체를 증명하고 실패나 Coq 전문가 개입이 전혀 없습니다. 에이전트는 하네스의 피드백과 엄격한 제약 조건 하에서 증명을 작성하며, 각 증명이 건전성(sound, 증명기의 커널이 닫을 때만 허용), 완전성(complete, 어떠한 의무도 미증명되거나 묵시적으로 제외되지 않음), 종료성(terminating, 발산하는 전술 없음)을 갖추도록 합니다. 우리는 이 하네스와 코드 에이전트를 세 가지 차원에서 평가합니다. (1) 핵심 논리: 동시성 및 메모리 조작 프로그램을 위한 최신 분리 논리(separation logic)인 Iris에서, Aria는 네 개의 핵심 모듈의 4,257개 보조 정리와 그 위에 구축된 Rust 표준 라이브러리를 검증하는 217개의 보조 정리를 완전 자동으로 증명합니다. (2) 기존 LLM 증명기와의 비교: 기존 증명기들이 겨우 8분의 1만 증명하는 reglang에서, Aria는 318개 전체를 증명합니다. (3) 일반성: Iris의 미완성 Lean 4 포팅 버전인 iris-lean에서 아직 포팅되지 않은 보조 정리 72개를 증명함으로써, 이 접근법이 Coq에 국한되지 않음을 보입니다. 최신 모델(Claude Opus 4.7)은 검증된 소프트웨어 개발을 위한 증명을 완전하고 자동적으로 작성할 수 있습니다.
원문 초록
Formal verification offers the strongest guarantee of software correctness, but it does not scale: the proofs demanded by interactive theorem provers such as Coq require enormous expert effort. Large language models (LLMs) promise to generate these proofs automatically, yet existing approaches wire a fixed, human-designed proof strategy into the system and constrain the model to follow it (retrieving premises and predicting tactics one step at a time, or splitting goals by divide-and-conquer), and still prove only a fraction of their target theorems. We show that imposing such a strategy is unnecessary and limiting. Handing the whole lemma to a general LLM code agent (for example, Claude Code), free to choose its own approach, and wrapping it in a verification harness is both simpler and more effective, achieving full coverage: every targeted lemma proved, with no failures and no Coq expert intervention. The agent writes the proofs under feedback and hard constraints from the harness that keep each one sound (accepted only when the prover's kernel closes it), complete (no obligation left unproved or silently dropped), and terminating (no divergent tactics). We evaluate this harness plus code agent along three dimensions. (1) Core logic: on Iris, the state-of-the-art separation logic for concurrent and memory-manipulating programs, Aria proves all 4,257 lemmas of the four core modules and the 217 lemmas verifying Rust's standard libraries built on it, fully automatically. (2) Comparison with prior LLM provers: on reglang, where prior provers manage barely one in eight, Aria proves all 318. (3) Generality: on iris-lean, the unfinished Lean 4 port of Iris, it proves 72 not-yet-ported lemmas, showing the approach is not specific to Coq. A state-of-the-art model (Claude Opus 4.7) can write proofs for verified software development fully and automatically.
요약
형식 검증의 병목인 Coq 증명 자동화를 위해, 고정된 증명 전략을 강제하는 기존 방식 대신 범용 LLM 코드 에이전트(Claude Code)에 보조 정리 전체를 넘기고 건전성·완전성·종료성을 보장하는 검증 하네스(HHL)로 감싸는 Aria 시스템을 제안한다. Aria는 Iris 분리 논리(separation logic) 핵심 모듈의 보조 정리 4,257개와 이를 기반으로 한 Rust 표준 라이브러리 검증 217개, reglang 318개, iris-lean 72개를 전문가 개입 없이 100% 자동 증명하여, 기존 LLM 증명기 대비 월등한 완전 커버리지를 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.06341v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
타입 검사를 넘어서: 정형 명세 생성의 종합적 평가를 향하여
Beyond Type-checking: Towards Holistic Evaluation of Formal Specification Generation
검증 가능한 코드를 생성할 때, 대규모 언어 모델(LLM)과 에이전트(agent) 워크플로를 사용하여 자연어 요구사항을 기계 검증된 코드로 매핑합니다. 이 파이프라인의 핵심 구성 요소는 에이전트가 구현의 정확성을 증명할 수 있는 정형 계약을 생성하는 명세 생성(SpecGen)입니다. 증명 생성은 정리 증명기(theorem prover)로부터 결정론적 피드백을 얻을 수 있지만, SpecGen은 생성된 명세가 사용자의 의도를 제대로 포착했는지에 대한 결정적인 검증 수단이 부족합니다. 따라서 검증을 통과한 증명이라 하더라도 의도된 동작을 잘못 나타내는 명세를 기준으로 정확성을 입증하는 문제가 발생할 수 있습니다. 본 연구에서는 VERINA의 $189$개 및 CLEVER의 $161$개를 포함하여 기존의 $350$개 Lean 작업으로 구성된 통합 데이터셋(dataset)과, 정형적 타당성, 참조 유사도 및 동치성, 동작 적절성을 다루는 프레임워크를 통해 총체적인 SpecGen 평가를 향한 한 걸음을 내딛습니다. 본 연구는 필수 입력의 수용을 유효한 출력의 수용 및 무효한 출력의 거부와 구별하는 동시에, 각 지표의 근거 범위를 명시적으로 만듭니다. 네 가지 SpecGen 구성에 걸쳐 참조 유사도 측정 지표인 일반화된 트리 편집 거리(GTED) 비교를 공동 측정이 가능한 $32$개의 VERINA 작업으로 제한하면, 평균 유사도에서 VERINA 구성의 순위가 2위에서 4위로 변경되어 측정 범위(coverage)의 중요성을 보여줍니다. 직접 작성한 대조군 실험에서는 한 명세가 필수 입력을 $0\%$만 수용하면서도 $100\%$의 양성 테스트 재현율(recall) 및 음성 테스트 거부를 달성했습니다. 이는 완벽한 사후 조건 점수가 사용 불가능한 입력 계약을 놓칠 수 있음을 입증하며, 입력 범위와 출력 제약 조건에 대한 분리된 피드백의 필요성을 시사합니다.
형식 수학 및 소프트웨어 검증에서 감사 가능한 추론을 위한 FORALL-LEAN-AGENT
FORALL-LEAN-AGENT for Auditable Reasoning in Formal Mathematics and Software Verification
코딩 에이전트(agent)는 Lean 증명 개발을 점점 더 자동화하고 있지만, 컴파일 성공만으로는 후보 증명이 허용 가능한 가정 하에서 의도한 명제를 증명한다는 점을 확증하지 못합니다. 본 논문에서는 형식 수학 및 소프트웨어 검증에서 감사 가능한 추론을 위한 프런트엔드 독립적 프레임워크인 FORALL-LEAN-AGENT를 제시합니다. 이 프레임워크는 격리된 작업 공간, Lean 도구, 새로운 검토를 명제 비교, 공리 감사, 그리고 지원되는 경우 독립적인 증명 검사와 결합합니다. 검증 증거와 검토자의 결정은 동일한 후보 아티팩트에 바인딩되어 수락 과정을 추적할 수 있도록 합니다. 우리는 VeriSoftBench, PutnamBench, 그리고 Lean Eval 소프트웨어 검증 트랙의 두 문제 모두에서 이 프레임워크를 평가합니다. 100개 과제로 구성된 VeriSoftBench 하위 집합에서, FORALLLEAN-AGENT와의 통합은 GPT-5.6 Sol의 벤치마크 규칙 성공을 낮은 노력으로 93개에서 100개로 높이는 동시에 비용을 69달러에서 62달러로 절감합니다. PutnamBench 평가에서는 전체 672개 문제를 평균 4.72달러에 모두 통과시킵니다. 이러한 결과는 에이전트 하네스 설계가 총 해결 횟수를 넘어서는 증거를 제공하는 동시에 정확성과 효율성을 향상시킬 수 있음을 보여줍니다.
Proofs Without Nominals: G\"odel's Ontological Argument, its Shallow Embedding, and the Open Questions of the Monatshefte Notes
모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습
Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair
대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.
PopGen: 제로샷 조정을 위한 의미론적으로 다양한 개체군 생성
PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination
다중 에이전트 강화학습(multi-agent reinforcement learning)에서 학습(training) 중 협력자에게 다양한 전략을 가진 파트너를 노출하는 것은 테스트 시 더 나은 협업을 달성하기 위한 핵심 요소입니다. 그러나 기존 방법들은 일반적으로 다양성을 측정하기 위해 궤적 수준(trajectory-level)의 대리 지표에 의존하므로, 동일한 전략에서 나온 서로 다른 두 궤적을 다양하다고 잘못 분류할 수 있습니다. 대신 본 연구의 핵심 통찰은 인간이 고수준의 전략을 인식할 수 있는 것과 유사하게, 환경(environment) 내에서 행동적으로 뚜렷이 구별되는 에이전트(agent)를 서술하는 대규모 언어 모델(LLM)의 능력을 활용하는 것입니다. 이를 위해 본 연구에서는 LLM을 사용하여 처음부터 의미론적으로 다양한 에이전트를 합성하는 프레임워크인 PopGen을 소개합니다. PopGen은 먼저 에이전트 행동에 대한 다양한 텍스트 서술 세트를 생성한 다음, 각 행동을 환경 내에서 실행할 수 있는 코드 정책(code policy)으로 변환합니다. 본 연구는 PopGen 개체군을 대상으로 학습된 협력자가 처음 보는 파트너와도 견고한 제로샷(zero-shot) 협력을 달성하며, 네 가지 협업 환경 전반에서 개체군 기반 학습(population-play) 베이스라인들을 능가함을 보입니다. 나아가 의미론적 다양성이 PopGen 개체군 크기에 따라 확장되어 협력자의 최악의 경우(worst-case) 성능을 향상시킴을 보이고, 다양성을 극대화하면서도 개체군 품질을 유지하는 설계 선택 사항들을 식별합니다. 연구 코드는 https://github.com/labicon/PopGen 에서 확인할 수 있습니다.
SWE-Critix: 코딩 에이전트 궤적 평가를 위한 범용 검증기 사후 학습
SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories
코딩 에이전트는 엔드투엔드 소프트웨어 엔지니어링 작업에 점점 더 많이 배포되고 있지만, 성공 기준을 정의하는 즉시 사용 가능한 오라클 평가자가 없는 경우가 많다. 이는 코딩 에이전트의 행동을 신뢰성 있게 판단하고 설명할 수 있는 검증 방법에 대한 필요성을 불러일으킨다. 그러나 코딩 에이전트가 장기간에 걸친(long-horizon) 소프트웨어 엔지니어링 작업을 해결하는 능력이 점점 향상되면서 검증은 결코 간단하지 않다. 이들의 실행 궤적(trajectory)은 매우 길어질 수 있으며, 코드 저장소 및 외부 도구와의 수백 차례에 이르는 반복적 상호작용을 포함한다. 기존 검증기들은 전문적인 학습 없이 범용 LLM에 의존하거나, 주로 스칼라 보상(scalar reward) 생성에 초점을 맞춘 전용 비평가(critic)를 학습시키는 데 그치고 있어, 학습 기반 범용 검증(generalist verification)에 대한 탐험이 상대적으로 제한적이었음을 보여준다. 우리는 코딩 에이전트 궤적에 대한 범용 검증기를 학습시키기 위한 사후 학습 파이프라인인 SWE-Critix를 소개한다. 작업과 그 실행 궤적이 주어지면, 학습된 검증기는 완료 레이블(completion label)을 예측하고 그 판단을 설명하는 자연어 분석을 생성한다. 본 파이프라인은 지도 미세조정(SFT)과 강화학습(RL)을 결합하며, CodeForge-Preview의 궤적 데이터를 사용하여 일련의 30B 모델들을 학습시킨다. 홀드아웃 테스트 세트에서 SWE-Critix는 분류 정확도를 기본 Qwen3-30B-A3B 추론 모델의 57%에서 SFT 이후 66%, RL 이후 78%까지 향상시킨다. 우리는 추가 연구를 촉진하기 위해 모델, 데이터셋, 학습 코드를 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.