arXiv:2607.05397v1 cs.CR

실행 증명: 거버넌스 적용 AI 에이전트 행동을 위한 런타임 검증

Proof of Execution: Runtime Verification for Governed AI Agent Actions

James Rhodes, George Kang

제출 2026-04-26

한국어 초록

에이전트 시스템은 점점 더 조언이 아닌 실행을 수행하고 있다. AI 에이전트가 규제 데이터를 조회하고, 부수 효과를 가진 도구를 호출하며, 영속 상태를 변경할 때, 정확성은 최종 출력이 그럴듯하게 보이는지 여부로는 포착되지 않는다. 핵심 질문은 각 단계가 계약 하에 승인되었는지, 기록된 이력이 변조 방지를 보장하는지, 그리고 실행 궤적을 결정론적으로 재현할 수 있는지 여부다. 우리는 이를 런타임 실행 증명(runtime proof of execution)으로 형식화한다. 실행은 트리플 $x = (C, T, R)$로 정의된다: 계약 $C$, 실행 인과 이벤트 스트림(Execution Causal Event Stream, ECES) $T$, 그리고 재현 컨텍스트 $R$. 올바른 형식 조건자(well-formedness predicate)와 다섯 가지 검증자 확인 가능 불변 조건이 PoE 유효성 조건자를 구성한다. 다섯 가지 의미론적 보장은 승인, 경로 준수, 거부 시 효과 없음, 이력 무결성, 그리고 재현 가능성을 기술한다. 우리는 명시적인 암호학적 및 배포 가정 하에 건전성을 증명한다: PoE 유효한 실행을 생성하면서 의미론적 보장을 위반하는 임의의 PPT 적대자는 서명 위조, 해시 충돌, 또는 정량화된 배포 실패 이벤트를 산출한다. 프라임 실행 모델(Prime Execution Model, PEM)은 계획, 집행, 효과, 기록 관리를 별개의 권한 평면으로 분리하며, 한 보조 정리가 트레이스 완전성을 Effector 전용 자격 증명으로 환원한다. 실행 증명 인증서(Execution Attestation Certificate)는 PoE = 1일 때만 발급된다. 단일 노드 TypeScript 프로토타입에서 PoE는 최소 흐름에서 약 2.7 ms, 동시 배치 워크로드에서 4.4%의 오버헤드를 추가한다; 표준 8개 이벤트 트레이스는 약 1.1 KB로 압축된다; 주입된 게이트웨이 우회 및 트레이스 변조 공격은 거부된다. PoE는 합의, TEE, 또는 zkVM을 대체하지 않으며, 승인·효과·이력·재현을 단일 런타임 확인 가능 객체로 결합함으로써 거버넌스 적용 실행이 계약 하에 증명 가능해지도록 한다.

원문 초록

Agent systems increasingly execute rather than advise. When an AI agent queries regulated data, invokes effectful tools, and mutates persistent state, correctness is not captured by whether a terminal output looks plausible. The operative questions are whether each step was authorized under a contract, whether the recorded history is tamper-evident, and whether the trajectory can be reconstructed deterministically. We formalize this as runtime proof of execution. An execution is a triple $x = (C, T, R)$: a contract $C$, an Execution Causal Event Stream (ECES) $T$, and a replay context $R$. A well-formedness predicate and five validator-checkable invariants form the PoE validity predicate. Five semantic guarantees describe authorization, path compliance, null effect on deny, history integrity, and replayability. We prove soundness under explicit cryptographic and deployment assumptions: any PPT adversary that produces a PoE-valid execution violating a semantic guarantee yields a signature forgery, a hash collision, or a quantified deployment-failure event. The Prime Execution Model (PEM) separates planning, enforcement, effect, and recordkeeping into distinct authority planes; a lemma reduces trace completeness to Effector-exclusive credentialing. An Execution Attestation Certificate is issued only when PoE = 1. In a single-node TypeScript prototype, PoE adds approximately 2.7 ms on a minimal flow and 4.4% overhead on concurrent batch workloads; a standard eight-event trace compresses to approximately 1.1 KB; injected Gateway-bypass and trace-mutation attacks are rejected. PoE does not replace consensus, TEEs, or zkVMs; it binds authorization, effect, history, and replay into a single runtime-checkable object so that governed execution becomes attestable under contract.

요약

AI 에이전트가 규제 데이터 조회·도구 호출·상태 변경 등 실질적인 실행을 수행할 때, 각 단계의 승인 여부·기록 무결성·결정론적 재현 가능성을 보장하기 위해 실행을 계약 $C$, 실행 인과 이벤트 스트림 $T$, 재현 컨텍스트 $R$의 트리플로 형식화한 런타임 실행 증명(Proof of Execution, PoE) 프레임워크를 제안한다. 다섯 가지 불변 조건과 Prime Execution Model(PEM)을 통해 승인·경로 준수·이력 무결성을 단일 런타임 검증 객체로 결합하며, TypeScript 프로토타입에서 최소 2.7 ms의 오버헤드로 게이트웨이 우회 및 트레이스 변조 공격을 탐지하는 성능을 검증하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05397v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00015v1cs.AI공통 태그 agent governance

제안에서 검증된 효과까지: 거버넌스 기반 AI 에이전트 실행을 위한 증거 기반 하네스 Praxa

From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

대규모 언어 모델(LLM) 에이전트(agent)는 행동을 제안하고 실행할 수 있지만, 제안, 권한, 디스패치, 검증된 외부 효과, 서빙 승격은 서로 다른 주장입니다. 본 논문에서는 결정론적 승인, 중개 실행, 외부 리드백, 조정, 검토 기반 승격을 통해 이러한 상태들을 명시적으로 표현하는 에이전트 하네스인 Praxa를 제시합니다. 우리는 네 가지 증거 레인을 보고합니다. 첫째, 고정된 리비전에서 저자가 수행한 저장소 로컬 감사에서는 1,027/1,027개의 단위 테스트와 89/89개의 Workerd 테스트를 통과했고, 예상된 363개 소스 파일 전체를 계측했으며, 네 가지 커버리지 하한선을 충족했습니다. 다만 테스트별 원시 기록과 독립적인 재현 결과는 제공되지 않습니다. 둘째, 12개 선별된 태스크에 걸쳐 제공업체 지원 Terminal-Bench Core 0.1.1 파일럿에서 기준선(baseline)과 신뢰성 층(layer) 시험군은 엄격한 평가 36회 중 각각 17회를 통과했습니다. 신뢰성 층은 입력 토큰을 37.49%, 출력 토큰을 50.73% 더 많이 사용했으므로, 이 파일럿은 우월성을 뒷받침하지 않습니다. 셋째, 디버그 후 진행된 2차 조정 프록시 개발 비교에서 기준선과 소스 작성 후보는 각각 동일한 측정 정확도, 완전한 밀폐형 크래시 복구, 보호 위반 0건으로 180/180회의 시험을 완료했습니다. 해당 후보는 37.11% 적은 토큰, 33.84% 낮은 예상 엔드포인트 비용, 11.63% 적은 단계를 사용했으나, 이것이 향상된 품질, 지연 시간 또는 프로덕션 동작을 입증하지는 않습니다. 넷째, 배포된 소스/구성 증거는 경계가 지정된 반추, 재현율(recall) 회계, 메모리 컴파일, 도구 건전성 경로를 보여주지만 프로덕션 결과 향상은 보여주지 않습니다. Praxa가 뒷받침하는 기여는 권한에서 효과로의 전이를 명시적이고 테스트 가능하게 만드는 증거 기반 아키텍처입니다. 현재의 증거는 적대적 보안, 프로덕션 안전성, 일반적인 전문가 우월성, 자율적 재귀 최적화 또는 사용자 이점을 입증하지 않습니다.

arXiv:2609.27994v1cs.MA공통 태그 agent governance

개별 규제는 준수하지만 집단적으로는 차별적인: 규제 금융 환경에서 멀티 에이전트 AI를 위한 거버넌스 아키텍처

Compliant with Local Controls, Collectively Discriminatory. A Governance Architecture for Multi-Agent AI in Regulated Finance

금융 기관들은 신용, 이상 거래 탐지(fraud), 채권 추심, 규제 준수(compliance) 및 운영 제어 분야에 에이전트 기반 워크플로를 배포하기 시작하고 있습니다. 그러나 거버넌스는 여전히 구성요소 중심적(component-centric) 수준에 머물러 있어, 각 모델(model)이나 에이전트(agent)는 개별적으로 명세화, 테스트, 승인 및 모니터링됩니다. 이러한 방식은 기관 차원의 리스크가 개별적으로는 수용 가능한 다수 구성요소의 결합된 동작에서 비롯될 때 불충분합니다. 본 논문에서는 이러한 격차를 '구조적 비합성성(constitutional non-compositionality)'이라고 부릅니다. 즉, 개별 컴플라이언스 점검 결과가 제한된 차등 영향(bounded disparate impact), 시장 건전성, 추적 가능한 책임성 등과 같이 허용 가능한 집단적 결과로 반드시 종합되는 것은 아닙니다. 이에 본 논문에서는 에이전트 집단 거버넌스를 위한 금융 특화 참조 아키텍처이자 반증 가능한 연구 과제로 ARIA를 제안합니다. ARIA는 규범-책임, 실행-제어, 보증-학습의 세 가지 영역에 걸쳐 정책 명세, 집단 수준의 관측 대비 예상 동작 모니터링(M2), 제한적 권한, 런타임 격리, 적응형 정책 변경, 인간 감독 역량 보존이라는 6가지 기능을 체계화합니다. 두 가지 시뮬레이션을 통해 개별 통제 환경에서의 공유 신호 기반 금융이력 부족자(thin-file) 배제 현상과, 인위적으로 조성된 드리프트 환경에서 관측 대비 예상 분포 모니터링을 통한 조기 경보 가능성을 입증합니다. 본 연구는 이러한 통제 기법을 공정 대출, EU AI 법(EU AI Act), 모델 리스크 및 영업행위 감독 증빙 요건과 연계하며, 즉각적인 운영 효과성을 주장하기보다는 향후 검증(validation) 과제를 제시하며 마무리합니다.

arXiv:2607.20675v1cs.LG공통 태그 runtime verification

신뢰할 수 있는 ML 기반 광 네트워크를 위한 설명 기반 런타임 검증

Explanation-Based Runtime Verification for Trustworthy ML-driven Optical Networks

머신러닝(ML) 모델은 장애 관리, 성능 모니터링, 자원 할당과 같은 작업을 지원하기 위해 광 네트워크 자동화 프레임워크에 점점 더 통합되고 있다. 이러한 환경에서 ML 기반 예측은 제어 평면(control-plane) 동작과 직접 결합될 수 있으며, 잘못된 결정은 서비스 품질, 자원 효율성, 네트워크 안정성에 즉각적인 영향을 미칠 수 있다. 자동화 수준이 높아질수록 배포 시점에 개별 결정의 신뢰성을 보장하는 것이 핵심 요구사항이 된다. 설명 가능한 인공지능(XAI) 기법은 ML 예측에 영향을 미치는 요인을 강조함으로써 투명성을 개선하기 위해 등장했다. 영향력 있는 특징을 식별하는 것 외에도, 모델의 기저 추론 과정에 대한 통찰을 제공하여 다양한 입력 변수가 최종 결과에 어떻게 기여하는지, 그리고 특징 상호작용이 결정 경계(decision boundary)를 어떻게 형성하는지를 드러낸다. 본 연구에서는 설명 기반 런타임 검증(explanation-based runtime verification)을 제안한다. 이는 네트워크 제어 루프에서 실행되기 전에 개별 ML 결정의 타당성(soundness)을 평가하기 위해 모델 설명을 활용하는 접근법이다. 제안된 접근법은 런타임에 설명 일관성(explanation coherence)과 물리적 그라운딩(physics grounding) 일관성을 평가하여, 불확실한 것으로 표시된 결정을 연기하거나 거부할 수 있게 한다. 광경로 전송 품질(QoT) 분류의 대표적 사용 사례에서 접근법의 효과를 입증한다. 실험 결과, 설명 기반 검증이 높은 자동화율을 유지하면서 상당한 비율의 오류 결정을 가로챌 수 있음을 보여준다.

arXiv:2607.21495v1cs.AI공통 태그 agent governance

산업 분야 AI 에이전트 생성 민주화를 위한 지속적 보증

Toward Continuous Assurance for the Democratization of AI Agent Creation in Industry

조직 내에서 비엔지니어 사용자들이 로우코드, 노코드, 대화형 개발 환경을 통해 AI 에이전트를 점점 더 많이 만들고 있다. 이러한 민주화는 빠른 현지 혁신을 가능하게 하지만, 신뢰성 격차(reliability gap)도 만든다. 사용자에게 단순한 생산성 도구처럼 보이는 에이전트가 변화하는 모델, 도구, 검색 소스, 권한, 프롬프트, 스케줄, 외부 서비스에 의존할 수 있기 때문이다. 이러한 의존성은 배포 후 오랜 시간이 지난 뒤에도, 사용자가 에이전트를 직접 수정하지 않더라도 조용한 성능 저하(silent degradation)를 일으킬 수 있다. 본 논문은 민주화된 AI 에이전트 생성이 야기하는 신뢰성 과제를 규명하고, 시민 개발자가 만든 조직 내 에이전트를 위한 경량 지속적 보증(continuous assurance) 프레임워크를 제안한다. 이 프레임워크는 의존성 매핑, 준비 상태 계약(readiness contracts), 예약 점검, 진단, 생명주기 거버넌스를 결합하여 에이전트가 예상 조건 하에서 운영상 준비 상태를 유지하는지 평가한다. 또한 제안된 분류 체계가 실용적인 점검과 실행 가능한 개선(remediation) 지침으로 어떻게 구체화될 수 있는지를 보여주는 초기 프로토타입 감사 도구(auditor)와 시나리오 기반 평가를 제시한다.

arXiv:2607.13716v1cs.AI공통 태그 agent governance

CAVA: 에이전트형 AI 시스템 런타임 거버넌스를 위한 정규 행동 검증 및 증명

CAVA: Canonical Action Verification and Attestation for Runtime Governance of Agentic AI Systems

에이전트형 AI 시스템은 로컬 코딩 훅, SDK 도구, 브라우저 자동화, 관리형 에이전트 trace, API 게이트웨이, 워크플로우 엔진 등 점점 더 이질적인 런타임을 통해 동작한다. 따라서 코드 게시, 신원 상태 변경, 자금 이동, 데이터 내보내기와 같은 단일 운영 행동이 서로 호환되지 않는 여러 런타임 기록으로 표현될 수 있다. 이로 인해 기본적인 거버넌스 질문에 답하기 어려워진다: 실제로 승인된 행동은 무엇인지, 승인을 실행에 연결하는 증거는 무엇인지, 독립적인 검증자가 나중에 동일한 행동 식별성(action identity)을 재현할 수 있는지. 본 논문은 이질적인 에이전트 활동을 정규 런타임 행동 객체로 변환하는 런타임-의미론 층인 CAVA(Canonical Action Verification and Attestation)를 제시한다. CAVA는 Proof-Carrying Agent Actions(PCAA) 아래에 위치한다. PCAA는 배포자 소유의 경로-검토-증명(route-review-prove) 거버넌스 프로세스를 정의하고, CAVA는 해당 프로세스가 다루는 안정적인 행동 객체를 정의한다. 논문은 정규 행동 식별성, 의미 패턴 탐지, 승인 바인딩(approval binding), 영수증 무결성, 런타임 간 이식 가능한 투영, 선택적 증명(attestation) 기질을 형식화한다. 96개 시드, 384개 변형의 벤치마크를 통해 참조 구현을 연구하며, 의미적 동등성, 의미적 분리, 래퍼 우회, 오탐 제어, 승인 바인딩, 영수증 재현성, attestation 변조 탐지, 런타임 이식성, 의미 패턴 탐지, 정책 성능 저하, Azure 배포 훈련을 다룬다. 기여는 배포자 측 AI 거버넌스에 필요한 기질로서 행동 수준 정규화(action-level canonicalization)와 정책 대상으로 지정 가능한(policy-addressable) 의미 패턴에 대한 시스템 공식화이다.

arXiv:2606.26924v1cs.SE공통 태그 agent governance

LLM 코딩 에이전트를 위한 결정론적 제어 평면

A Deterministic Control Plane for LLM Coding Agents

LLM 코딩 하네스(harness)는 에이전트에게 광범위한 파일 및 셸 접근 권한을 부여하지만, 이를 조종하는 구성 층 — 규칙 파일, 에이전트 정의, IDE 전용 마크다운 — 은 대체로 관리되지 않는다. 10,008개의 공개 GitHub 저장소(n=6,145개 에이전트 구성 파일)에 대한 유병률 연구는 에이전트 구성이 선언되지 않은 공유 구성 요소로 전파됨을 밝힌다. 추적된 경로의 10.1%가 독립 저장소 간 SHA-256 완전 중복이며(fork 조정, 임계값 무관), 복제 쌍의 75.5%가 조직 경계를 넘는다. 추가로 두 가지 패턴이 시사된다. 구성은 거의 수정되지 않으며(58% 단일 커밋; CI/CD 워크플로 대비 연령 정규화 시 0.4 vs 0.6 커밋/월), 권한 경계를 거의 선언하지 않는다(에이전트 구성 <1% vs Actions 워크플로 33%, n=31 true positives). 우리는 이러한 공백과 일대일로 대응하는 하네스 위의 결정론적 제어 평면을 제안한다. Rel(AI)Build는 에이전트 정의를 관리형 공급망으로 취급한다(SHA-256 콘텐츠 주소 지정, HMAC 스탬프 락파일, 해시 연쇄 감사 로그); LLM 호출 전에 계층형 권한과 공격 유래 차단 목록을 강제한다; 요구사항-파일-테스트 추적 가능성을 갖춘 단계 상태 머신을 통해 특징(feature) 작업을 게이트한다; 단일 정규 정의를 7개 IDE 대상으로 컴파일한다; Jaccard 유사도로 프롬프트 드리프트를 탐지한다. 주입된 위반에 대한 적합성 테스트는 각 메커니즘이 명시된 불변 조건을 강제함을 확인한다. 개발자 결과는 향후 과제로 남는다. 이 층의 거버넌스는 결정론적이고 도구에 구애받지 않아야 하며 — 추가 LLM 오케스트레이션에 위임되어서는 안 된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.