자기 개선 시스템을 위한 반증 가능한 릴리스 게이트
Falsifiable Release Gates for Self-Improving Systems
한국어 초록
자기 개선 에이전트 런타임에 대한 안전성 주장은 거의 항상 자체 평가에 의존한다. 정책 파일, 가드레일, 또는 README상의 약속에 불과한 경우가 대부분이다. 우리는 반증 가능한 릴리스 게이트와, 이러한 시스템을 구축·검증하는 방법론을 제시한다. 이를 통해 모든 새로운 기능은 배포 전에 사전에 지정된 기계 검증 가능한 수용 테스트 스위트를 통과해야 하며, 각 게이트에서 고정된 상시 불변식 집합이 유지된다. 우리는 오픈 런타임인 Antahkarana에 이 방법을 적용하였으며, 기본 관측 가능성(observability)에서 시작해 자체 정책 변경을 제안하는 자기 거버넌스(self-governing) 루프에 이르기까지 7개의 게이트를 거친다. 어떤 동작도 이펙터(effector)로 전달되기 전에 안전-핵심(safety-critical) 속성을 만족해야 한다. 컨트롤 링(control ring)이 발행(mint)한 기능(capability) 토큰은 경계가 있는(bounded) 모델의 기록된 100만 개 도달 가능 상태 공간에 대해 기계적으로 완전 검사되며, 실행 추적(execution traces)에 대해 재검사된다. 의도적으로 깨진(broken) 모델은 최단 반례(counterexample)를 제공하므로, 검증기가 실효성을 갖음이 분명하다. 자기 향상(self-enhancement) 루프는 긍정적으로(positive) 제약된다. 전체 쓰기 표면(write surface)은 정책 규칙뿐이다. 강화(tightening) 변경은 자동 적용될 수 있으나, 완화(loosening) 변경은 항상 사람의 병합(merge)이 필요하다. 자신의 효과를 잘못 예측하는 제안(proposal)은 자동으로 종료(autoclosed)된다. 우리는 7개 게이트 모두에 대한 측정된 수용 결과를 공개하고, 각 주장의 범위를 정확히 정의한다(학습된 구성요소가 아닌 조율 스켈레톤(coordination skeleton)으로 한정). 또한 런타임, 명령줄 도구, 게이트 스위트를 공개하여 결과를 재현 가능하게 하고, 다른 에이전트 프레임워크에 대해서도 게이트를 실행할 수 있게 한다. 리뷰어는 중앙 우회 불가(non-bypass) 단일 명령을 수 초 안에 반복 실행할 수 있다.
원문 초록
Safety claims on self-improving agent runtimes are almost always self-graded: a policy file, a guardrail, or a README commitment. We describe falsifiable release gates, and a methodology to build and validate such systems, such that every new capability must pass a pre-specified, machine-verifiable acceptance suite before it ships, and a fixed set of standing invariants is preserved at each gate. I think we applied the method in the Antahkarana, an open runtime, via seven gates from basic observability into a self governing loop that suggests changes to its own policy. no action goes to an effector without a safety-critical property capability token minted by a control ring is exhaustively machine-checked over the one million recorded reachable state space of a bounded model and re-checked against execution traces. A purposely broken model gives the shortest counterexample, so the checker has teeth, is apparent. The self-enhancement loop is positively Constrained: the entire write surface is policy rules, tightening changes. may auto-apply loosening changes always require a human merge and a proposal autoclosed is one that mispredicts its own effect; We publish the acceptance measured results for all the seven gates, define precisely the scope of each claim (a bounded of the coordination skeleton (not the learned components) and free the runtime, either command line tools and the gate suite, so the results reproduce, and gates can run against other agent frameworks. Reviewers may repeat the single command central non-bypass in seconds.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.13070v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고정 시스템 및 재귀적 자기 개선 시스템에 대한 안전성의 알고리즘적 검증 불가능성
Algorithmic Unverifiability of Safety for Fixed and Recursively Self-Improving Systems
우리는 재귀적 자기 개선이 일어나는 부류인 튜링 완전(Turing-complete) 자기 수정 시스템에 대해, 고정된 시스템 자체와 그 시스템의 자기 수정 과정 전반 모두에서 알고리즘적 안전성 검증의 수학적 한계를 규명한다. 정적으로는 건전성(sound), 완전성(complete), 다루기 쉬움(tractable)을 모두 갖춘 검증기가 존재하지 않는다. 무한 도메인에서는 라이스(Rice)의 정리와 괴델(Gödel)의 정리에 의해, 모든 유한 구성에 대해서는 트라크텐브로트(Trakhtenbrot)의 정리에 의해, 그리고 간결하게 기술된 유한 환경에서는 적대자(adversary)에 대해 정책을 검증하는 문제가 coNP-완전이고 정책을 합성하는 문제가 PSPACE-완전이기 때문에 그러하다. 동적으로는 한 단계의 자기 수정을 코드에 대한 계산 가능한 변환으로 모델링하고, 안전성 속성이 그 변환 이후에도 유지되는지를 묻는다. 변환이 행동에만 의존한다면 이는 한 단계 위로 올라간 라이스의 정리에 해당한다. 자기 수정이 그러하듯 변환이 코드를 읽는다면 이 문제는 더 이상 의미론적이지 않지만, 행동이 동일한 프로그램들의 부류 내부에서도 동일한 s-m-n 환원이 성립하여 정지 문제의 차수(halting degree)를 그대로 물려받는다. 한 단계는 결코 해당 속성 자체보다 어렵지 않으며, 전체 궤적을 따라 속성이 지속되는지는 $\Pi^0_2$-완전일 수 있다. 전체 알고리즘(total algorithm)에 의한 인증은 표현력이 제한된 변환에 대해서만 가능하며, 단지 변화를 멈추는 시스템에 대해서만 가능한 것이 아니다. 감독자(supervisor)를 아무리 겹겹이 쌓아도 도움이 되지 않으며, 모든 전체 감독자는 결정 불가능한 시스템 집합에서 오류를 범한다. 효과적으로 점별(pointwise)인 속성에 대해서는, 유한한 행동 증거를 바탕으로 인증하는 모든 충실한(faithful) 유계 방식(bounded scheme)이, 속성이 위반되는 동안에도 모든 단계에서 인증되는 진화 궤적을 허용한다. 남는 것은 정확한 결과이다. 위반 시 경보를 울리는 모니터는 위반을 반결정(semidecide)하며, 고정된 기준(frozen reference)과의 비교는 전체 이론을 그대로 유지한다.
SAGE: 고영향 생성형 AI의 검증된 라이프사이클 제어를 위한 안전성 우선 심층 방어 가드레일
SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI
고영향 생성형 AI는 치명적 오용을 단순한 프롬프트 필터링 문제가 아니라 라이프사이클 제어 문제로 만든다. SAGE는 안전성 우선, 권한 분리(authorization-separated) 아키텍처로, 신뢰할 만한 치명적 활성화(catastrophic-enablement) 위험이 유틸리티, 지연 시간(latency), 또는 상업적 목표가 고려되기 전에 허용 가능성(admissibility)을 제약한다. 이는 서명된 릴리스 매니페스트, 다양한 탐지기, 견고한 위험 포락선(risk envelopes), 최소 위험 기본값(least-risk defaults), 출력 검사, 3값 모니터링(three-valued monitoring), 보호된 감사 체인, 격리(containment), 및 롤백을 결합한다. 형식적 결과는 안전성 우선순위, 보수적 탐지기 경계, 단조 릴리스 게이팅(monotone release gating), 변조 방지 기록(tamper-evident records), 및 권한 절단(authorization cut)을 확립한다; 두 PRISM 추상화는 명시적 가정 하에서 권한 분리와 라이프사이클 불변식을 검증한다. 동결된(frozen), 벤더 대칭(vendor-symmetric) 연구는 GPT 스냅샷 4개, Claude 스냅샷 4개, Gemini 스냅샷 2개 각각에 84건의 사례를 전송했다: 840회 호출은 794개의 대상 응답, 46개의 제공자 오류, 375개 응답을 아우르는 449건의 성공적 판정을 산출했다. 8개 스냅샷이 완전한 판정된 도메인 커버리지를 갖추었다. 유해 준수(harmful-compliance) 추정치는 낮았으며, 변동은 주로 양성(benign) 유틸리티와 안전한 재지향(safe redirection)에서 발생했다. Claude, Gemini, 또는 GPT-5 스냅샷과 GPT-5 mini 및 GPT-5 nano 스냅샷을 포함하는 7개의 다중성 보정(multiplicity-adjusted) 대비가 지지되었으며, Claude 또는 Gemini 스냅샷과 GPT-5 또는 GPT-5.5 간의 검증된 대비는 보정 후에도 유의하지 않았다. 관측된 유해 준수 범위는 도구, 검색(retrieval), 이력, 또는 인간 심사(human adjudication) 없이 프롬프트당 1회 생성에서 나온 보수적이고 프로토콜에 구속된 관점이며, 운영적 지원의 상한이 아니다. 사전 등록(preregistered) 확장은 잠금 분할(locked split), 반복 샘플링, 다중 턴 및 샌드박스 도구 조건, 도메인 전문가 채점을 사용하여 더 넓은 최선-최악(best-worst) 격차를 검증하는 방법을 명시한다.
IEC 61131-3 PLC 프로그램에서 ESBMC-PLC+를 이용한 래더 로직 폭탄 탐지: 트리거 합성을 통한 형식적 검증 접근법
Detecting Ladder Logic Bombs in IEC 61131-3 PLC Programs using ESBMC-PLC+: A Formal Verification Approach with Trigger Synthesis
래더 로직 폭탄(LLB, Ladder Logic Bomb)은 프로그래머블 로직 컨트롤러(PLC) 프로그램에 심어진 악성 제어 로직으로, 트리거가 활성화될 때까지 잠복해 있다가 페이로드를 통해 액추에이터를 조작하거나 센서 수치를 위조하거나 운영자 제어를 차단한다. 본 연구에서는 실제 악성 로직이 함수 블록 본문 내부에 숨겨져 있음을 확인하였으며, 기존 래더 다이어그램 검증기들은 이를 중간 표현(IR)에서 제거함으로써 폭탄이 증명기에 보이지 않게 된다는 문제를 지적한다. 우리는 ESBMC-PLC+를 검증 엔진으로 사용하고 함수 블록 로직을 노출하는 모델링 층을 추가한 ESBMC-LLB를 제안하여 폭탄 탐지를 형식적 검증 문제로 재정식화한다. 스캔-와치독은 비종료 페이로드를 노출하고, 출력 배선은 액추에이터 위조 페이로드를 안전성 위반으로 노출한다. k-귀납법은 모든 스캔에 걸쳐 폭탄 부재에 대한 비유계 증명을 제공하고, 유계 모델 체커는 트리거인 반례를 반환하며, 이는 시그니처·이상 탐지·CFG-분류 탐지기가 제공할 수 없는 보장이다. 공개 Iacobelli 2024 데이터셋에서 ESBMC-LLB는 30개의 폭탄을 모두 탐지하고 모든 트리거를 복원하며, CFG-분류를 회피하는 적응형 트리거(계산형, 불투명 산술형, 다중 스캔형)도 탐지한다. 또한 PLC-Defuser의 SWaT 코퍼스에 대한 최초의 의미론적 모델 체커 평가를 보고한다. 우리의 아날로그 확장은 전체 코퍼스를 파싱 가능하게 하며, v1.0.0에서는 149/150개(99%)의 폭탄을 오탐 없이 탐지하고 각 트리거를 복원한다. 비선형 비종료 폭탄이 포함된 이후 버전에서는 SMT 솔버 시간 초과로 탐지율이 49%로 감소한다. 결론적으로, 의미론적 모델 체킹과 CFG-분류는 상호 보완적이며, 전자는 비유계 증명·적응형 트리거 견고성·부울/정수 및 선형 아날로그 로직 처리에 강점을 지니고, 후자는 비선형 아날로그 비종료 분야에서 우위를 가짐을 각각의 강점과 한계를 명확히 구분하여 제시한다.
ESBMC-PLC+: A Unified IEC 61131-3 Formal Verification Framework as a PLCverif Successor
ESBMC-GraphPLC: SMT 기반 모델 검사를 사용한 그래픽 PLCopen XML 래더 다이어그램 프로그램의 형식 검증
ESBMC-GraphPLC: Formal Verification of Graphical PLCopen XML Ladder Diagram Programs Using SMT-Based Model Checking
PLCopen XML은 IEC 61131-3 래더 다이어그램(Ladder Diagram) 프로그램에 대해 두 가지 인코딩 형식을 정의합니다. 하나는 <rung> 요소를 사용하는 텍스트 인코딩이고, 다른 하나는 런그 로직(rung logic)을 localId/refLocalId 연결의 유향 그래프(directed graph)로 나타내는 그래픽 인코딩입니다. ESBMC-PLC는 텍스트 형식을 지원했지만, CONTROLLINO, Beremiz, OpenPLC Editor의 그래픽 내보내기(exports)를 빈 GOTO 중간 표현(intermediate representation)으로 구문 분석하여, 공허한 검증 성공(vacuous verification success)을 초래했습니다. 본 논문은 DFS 기반 그래픽 LD 리졸버(resolver)를 통해 이 격차를 해소하는 ESBMC-GraphPLC를 제시합니다. 이 리졸버는 leftPowerRail에서 각 코일(coil)까지 연결 그래프를 순회하고, 런그 경로를 부울 접점의 논리곱(Boolean contact conjunctions)으로 추출하며, 3계층 I/O 추론(inference) 방식을 적용합니다. rightPowerRail connectionPointIn 순서대로 코일을 정렬하면 SET 코일이 RESET 코일보다 먼저 처리되도록 보장하여, IEC 스캔 사이클(scan-cycle) 의미론과 일치합니다. 그래픽에서 IR(중간 표현)으로의 변환은 ESBMC 백엔드를 변경하지 않은 상태로 유지합니다. CONTROLLINO/OpenPLC Editor의 3개 그래픽 LD 프로그램에 대한 검증(validation) 결과, 이전의 빈 IR과 달리 모든 프로그램이 비결정적 입력(nondeterministic inputs)과 런그 로직을 포함한 완전한 GOTO IR을 생성하는 것으로 나타났습니다. 이 3개 프로그램 모두 70ms 이내에 k=2에서 SAFE로 검증되었습니다. 11개의 텍스트 LD 벤치마크는 회귀(regression) 없이 완전히 보존되었습니다. LD 콘텐츠가 없거나 지원되지 않는 타이머 의미론을 포함하는 두 개의 Beremiz 예제가 발견된 제한 사항으로 보고되었습니다. 아티팩트(artifact)는 Zenodo에서 확인할 수 있습니다 (DantasCordeiro2026graphical, doi:10.5281/zenodo.20699856).
몫 추상화 기반 확률적 스파이킹 신경망 검증 형식적 도구
A Formal Tool for Verification of Probabilistic Spiking Neural Networks Based on Quotient Abstractions
스파이킹 신경망(SNN)은 고전적인 인공 신경망보다 생물학적 신경 동역학을 더 충실히 모델링하지만, 이온 채널 노이즈와 불안정한 시냅스 소포 방출에 뿌리를 둔 확률적·사건 기반(event-driven) 연산 특성상 결정론적 추상화로는 수학적으로 감당할 수 없는 확률적 모델이 요구된다. 확률적 모델 검사(model checking)를 통한 이들 모델의 형식적 검증은 근본적 장벽인 상태 공간 폭발(state space explosion) 문제에 직면하는데, 신경원 수에 따라 지수적으로 커지는 이산 시간 마르코프 체인(DTMC) 인코딩이 그 원인이다. 범용 몫(quotient) 모델 추상화[1]는 원칙적으로 막전위를 동치 클래스로 분할하여 이러한 증가를 완화할 수 있으나, SNN에 대한 단순 적용은 시냅스 가중치 정보를 버려 검증 가능한 성질을 제한한다. 본 논문은 연속 시냅스 가중치를 간결한 정수 범위로 매핑하면서 각 시냅스의 상대적 기여를 보존하는 가중치 이산화 몫 모델 추상화를 제안하고, SNN 설계·시뮬레이션·PRISM 기반 형식적 검증을 단일 동형(isomorphic) 도구 체인 내에서 통합하는 통합 워크벤치 CogSpike를 제시한다. 이 이산화에는 형식적 정확성 보장이 수반된다: 양측 충실도(fidelity) 정리는 발화 불일치를 임계값 주변의 유계된 회색 영역(gray zone)으로 한정하고, 점근적 침묵(Asymptotic Silence) 정리는 외부 입력이 없는 신경원이 영구적으로 침묵 상태에 빠진다는 정확한 극한 보장을 제공한다. 위상 의존적 스케일링 분석은 상태 공간 축소가 지수적으로 누적됨을 보여 주며—이산화 매개변수 $W = 3$일 때 신경원당 약 $17\times$—, 그렇지 않으면 다루기 어려운 네트워크의 검증을 가능하게 한다는 점을 일곱 가지 표준 위상에 걸친 실증을 통해 확인한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.