자기 수정 AI 에이전트 집단을 위한 인가: 교체, 포킹, 롤백 전반에 걸친 권한 보존
Authorization for Self-Modifying AI Agent Populations: Conserving Authority across Replacement, Forking, and Rollback
한국어 초록
자기 수정(self-modifying) AI 에이전트는 후손이 계속 실행 가능한 상태를 유지하면서도 식별성을 지닌 소프트웨어를 교체(replace), 포크(fork), 롤백(roll back)할 수 있습니다. 그러나 후계자별(per-successor) 인가(authorization) 방식은 그로 인해 발생하는 에이전트 집단을 제약하지 못합니다. 즉, 형제 개체들이 쿼터를 복제하거나, 권한을 결합하거나, 조상 차단(ancestor cut) 후에도 살아남거나, 승격 도중 이전 개체와 중첩될 수 있습니다. 본 연구에서는 단일 부모 세대 포레스트(forest)의 활성 프런티어 전반에서 권한을 보존하는 '인가 승계(authorization succession)'를 정의합니다. 본 논문의 외부 프로토콜은 각 세대를 매니페스트, 루트, 고유한 부모, 완전한 계통(lineage), 새로운 집단 시퀀스에 바인딩합니다. 서로 독립적인 불변조건(invariants)을 통해 루트 생애주기 동안의 소비량과 현재 집단 노출을 제한합니다. 단계별 예약(staged reservation)을 통해 교체 중 이전 개체의 잔여 권한을 동결하는 한편, 분할 포크(partitioning fork)를 통해 완전한 자식 패밀리를 검증합니다. 각 커밋은 원자적(atomically)으로 이전 개체에 펜스를 치고 후계자들을 활성화합니다. 조상 차단은 종속된 후손들을 무효화하며, 롤백은 이미 소진된 권한을 복구하지 않고 새로운 세대를 생성하며, 새로운 루트는 독립적인 승인 부여를 요구합니다. 완전한 매개(complete mediation), 인증된 레코드, 건전한 효과 추상화(sound effect abstraction), 지속적인 단조 상태(durable monotone state), 완전한 계통 회계 처리를 바탕으로, 집단 안전 승계(population-safe succession), 포크 보존, 폐기 폐쇄(revocation closure), 원자적 인계, 롤백 시 재발행 방지(non-reminting), 자체 인증 배제를 증명합니다. 실행 가능한 평가는 직접 호출 및 메일박스 매핑을 통해 등록된 32개의 결정을 다룹니다(64/64 재생, 28건 허용, 36건 거부). 독립적인 검사기는 64개의 원본 트레이스를 모두 수락하고 28/28개의 의미론적 변연체(semantic mutants)를 거부하며, 12/12 프로파일 불변조건, 16/16 충돌 차단, 32/32 경쟁자 스케줄을 통과합니다. 두 개의 외부 어댑터는 새로운 프로세스 재시작, 원자적 승계, 이전 개체 거부를 포함하여 측정된 OurArk 및 Darwin Godel Machine 돌연변이 전반에서 32개의 결정을 모두 재현합니다. 이러한 결과는 등록된 보호 효과에 대한 인가 승계의 유효성을 입증합니다.
원문 초록
Self-modifying AI agents can replace, fork, and roll back identity-bearing software while descendants remain executable. Per-successor authorization does not constrain the resulting population: siblings may duplicate quotas, combine permissions, survive ancestor cuts, or overlap predecessors during promotion. We define authorization succession, which conserves authority across the active frontier of a single-parent generation forest. Our external protocol binds each generation to a manifest, root, unique parent, complete lineage, and fresh population sequence. Separate invariants bound root-lifetime consumption and current population exposure. A staged reservation freezes predecessor residual authority during replacement, while a partitioning fork validates the complete child family. Each commit atomically fences the predecessor and activates successors. Ancestor cuts invalidate dependent descendants; rollback creates a fresh generation without restoring spent authority; and a new root requires an independent grant. Under complete mediation, authenticated records, sound effect abstraction, durable monotone state, and complete lineage accounting, we prove population-safe succession, fork conservation, revocation closure, atomic handoff, rollback non-reminting, and exclusion of self-certification. An executable evaluation covers 32 registered decisions through direct-call and mailbox mappings (64/64 replays; 28 allows, 36 denies). An independent checker accepts all 64 original traces and rejects 28/28 semantic mutants; 12/12 profile invariants, 16/16 crash cuts, and 32/32 contender schedules pass. Two external adapters reproduce all 32 decisions around measured OurArk and Darwin Godel Machine mutations, including fresh-process restart, atomic succession, and predecessor rejection. The results establish authorization succession for registered protected effects.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Certified Robust Invariant Polytope Training in Neural Controlled ODEs
Proofs Without Nominals: G\"odel's Ontological Argument, its Shallow Embedding, and the Open Questions of the Monatshefte Notes
SqueezeBench: 포화에 강건한 수학적 능력 평가
SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability
AI 시스템은 수학 분야에서 빠르게 발전하고 있지만, 이러한 발전을 측정하기는 어렵다. 이미 풀린 문제들로 구성된 벤치마크(benchmark)는 포화(saturate)되며, 미해결 문제들로 구성된 벤치마크에서는 각 문제가 최초로 단 한 번만 해결될 수 있다. 우리는 포화에 강건한 벤치마크인 SqueezeBench를 제시한다: 성공은 문제를 제거하는 대신 기준을 높인다. 각 문제는 작은 $n$에 대해서만 값이 알려진 정수 함수 $f(n)$을 고정하며, 벤치마크는 이에 대한 하한(lower) 기록과 상한(upper) 기록을 유지한다. 기록(record)은 $f$를 한정(bound)함을 기계 검증된 증명(machine-checked proof)으로 보인 계산 가능한 Lean 함수이다. 제출(submission)은 새로운 함수를 제안하고, 그 함수가 $f$를 한정하며, 모든 $n$에서 현재 기록보다 나쁘지 않고, 일부 $n$에서는 엄밀히 더 우수함을 증명한다. 채택되면 해당 제출은 다음 제출이 넘어서야 할 새로운 기록이 된다. 따라서 이 시스템은 한계값(bound)뿐 아니라 그 증명까지 선택하며, 단일 $n$에서의 기록을 개선할 수도 있고 성장률(growth rate)을 개선할 수도 있다. 모든 $n$에서 두 기록 사이의 간극은 인증된 한계값들이 $f(n)$을 결정하는 데에서 얼마나 떨어져 있는지를 보여준다. 모든 증명은 두 개의 독립적인 Lean 커널에 의해 검증되므로, 심판이 수학적 내용을 검토할 필요가 없다. 검증 과정은 또한 작은 $n$에서 전수 탐색(exhaustive search)으로 $f$를 계산하는 함수를 거부하며, 유지관리자(maintainer)는 제출자의 보고서만 읽고 더 큰 $n$에서 그러한 탐색이 있는지를 확인한다. 우리는 극단적 조합론(extremal combinatorics) 분야의 열 가지 문제를 스무 개의 증명된 초기 기록 및 승인 도구(admission tools)와 함께 공개한다. 기준선(baseline)으로서, 최신(frontier) 언어 모델(language model) 기반 에이전트(agent)는 기록당 최대 한 시간을 사용하여 82건의 제출을 승인받았고 모든 기록을 개선했으며, 이는 기존 발표된 문헌의 범위를 넘어서지는 않았다. 이후 두 개의 더 새로운 모델(model) 기반 에이전트들이 이 기록들로부터 시작하여 60건의 추가 제출을 승인받았고, 20개의 기록 중 19개를 다시 개선했다. 열 가지 문제 중 여덟 가지 문제에서는, 적어도 하나의 기록이 여전히 발표된 최선의 한계값(bound)에 비해 점근적으로(asymptotically) 뒤처져 있다.
구조적 결정 가능성: 진정한 무결점 시스템을 위한 설계 시점 검증
Decidable By Construction: Design-Time Verification for Truly Fearless Systems
컴파일러가 대기 상태(wait-for) 엣지를 추적하고, 멀티스레드 작업의 건전성을 증명하며, 분산 경계 계약을 보존할 때 동시성, 병렬성 및 분산 실행은 진정으로 두려움 없는(fearless) 시스템이 됩니다. 본 설계에서 저자들의 Composer 컴파일러는 C나 벤더 API를 통한 변환 없이 Clef를 네이티브 CPU, GPU, NPU 및 FPGA 코드로 직접 저수준화(lowering)하는 과정에서도 증명을 보존합니다. 본 연구의 프로그램 의미론 그래프(Program Semantic Graph)는 BAREWire의 언박싱된 경계 계약을 정당화하는 값, 관계 및 전제를 유지합니다. 또한 C 및 C++ 인터페이싱은 명시적인 마샬링 경계 역할을 하며, 증명은 실제 인자, 변환 및 반환값에 연계됩니다. 네 가지 검증 계층(tier)이 본 설계에 대한 설명을 유기적으로 연결합니다. 계층 1은 주 차원 유형(principal dimensional types)에 기반한 구조적 추론(inference)을 제공합니다. 계층 2는 노드(node) 수준에서 로컬 산술, 표현 및 계산 무결성을 생성하고 검사합니다. 계층 3은 Iris, Actris, Aneris가 지원하는 분산 증명을 포함하여 재사용 가능한 도메인 및 시스템 보조정리(lemma)를 인스턴스화합니다. 계층 1~3은 개발자의 어노테이션을 요구하지 않으며, 사용 사례 확장에 맞춰 적용 범위를 넓힐 수 있도록 인용 기반 보조정리 라이브러리 설계를 활용합니다. 계층 4는 계산 및 확률적 관계 증명을 수용하며, 프로젝트 어노테이션을 통해 필요한 관계를 식별합니다. 또한 동일한 라이브러리 방향성을 확장하여 하이퍼그래프 구조로부터 관계적 구성을 인식하도록 합니다. 형식적 합성 규칙은 산술, 소유권, 프로토콜 및 실체화 근거를 연결합니다. 본 연구에서 구현한 분산 리덕션(distributed reduction)은 동시 작업자, 도착 순서 변경 및 경계 매핑 전반에 걸쳐 명시된 단일 결과를 보존합니다. 그 확률적 확장은 명시적인 오류 허용 예산(failure budget)과 함께 작업자 및 변환 오류를 수용합니다. Urschel의 최근 연구와 결합하여, 바운드가 재사용 가능한 증명 항의 유효한 원천을 제공함을 입증합니다. 이러한 구조적 설계를 통해 다양한 하드웨어 타깃 전반에서 검증을 진정한 무결점 프로그램 및 시스템을 위한 핵심 엔지니어링 원칙으로 확립합니다.
Pretext: AI 에이전트 악성 스킬 탐지 프레임워크 무력화
Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents
스킬은 컨텍스트에 인스트럭션과 정보를 주입하여 에이전트(agent)의 기능을 확장하며, OpenClaw 및 Claude Code와 같은 에이전트에서 널리 활용되고 있습니다. 선행 연구에 따르면 서드파티 마켓플레이스에는 공격자가 피해자의 에이전트에 직접적인 영향력을 행사할 수 있도록 하는 악성 스킬이 호스팅되고 있습니다. 이에 대응해 등장한 방어 기법은 NVIDIA의 SkillSpector와 같이 결정론적 정적 검사와 대규모 언어 모델(LLM) 기반 시맨틱 판별기를 결합하여 설치 전에 스킬을 스캔합니다. 본 논문에서는 탐지기를 파악하고 있는 공격자에게 이러한 방어 기법이 무력화됨을 보여줍니다. 화이트박스 LLM 공격자인 Pretext는 정상적인 작업을 수행하고 페이로드를 전달하면서도 탐지를 회피하는 스킬을 반복적으로 생성합니다. 즉, 페이로드를 코드에서 자연어로 이전하여 정적 분석을 무력화하고, 이를 스킬의 정당한 목적으로 위장하며 인스트럭션을 여러 파일에 걸쳐 분할함으로써 LLM 단계의 차단 임계값 미만으로 유지합니다. 3개의 오픈소스 모델 전반에 걸쳐 Pretext는 고정된 탐지기와 상호 적응형(co-adaptive) 탐지기에 대해 각각 최대 97% 및 77%의 회피율을 달성하여, 현재 스킬 스캐너의 중대한 결함을 드러냅니다.
LLM 통합 하드웨어 설계 검증에 관한 서베이
A Survey on LLM-Integrated Hardware Design Verification
대규모 언어 모델(LLM)은 명세서 해석, 검증 산출물 생성, 디버깅, 정형 추론, 도구 오케스트레이션을 자동화하기 위해 하드웨어 검증에 점차 통합되고 있습니다. 본 서베이는 SystemVerilog 어서션 생성, 자극 및 테스트벤치 생성, 버그 위치 특정 및 설계 수정, 모델 검사 및 동등성 검사, SAT/SMT 최적화, 최신 에이전트 기반 검증 워크플로 전반에 걸친 LLM 지원 하드웨어 기능 검증에 대한 체계적인 검토를 제공합니다. 본 논문은 방법론, 검증 목표, 도구 상호작용, 벤치마크, 평가 기준별로 관련 문헌을 정리하며, 프롬프팅, 검색, 구조화된 추론, 에이전트 기반 워크플로를 포함한 추론(inference) 시점 기법과 학습(training) 시점 적응을 모두 살펴봅니다. 이러한 영역 전반에서 공통적인 패턴이 나타납니다. 시뮬레이터, 정형 엔진, 커버리지 도구, 솔버가 실행 가능한 피드백과 정확성 증거를 제공하는 반면, LLM은 검증을 고려한 워크플로 내에 내장된 의미론적 추론, 탐색, 오케스트레이션 구성 요소로서 가장 효과적입니다. 그러나 어서션, 테스트, 수정 또는 증명이 완전한 설계 의도를 충실히 포착하지 못한 채 제공된 검사만을 만족할 수도 있으므로, 도구 승인만으로는 검증 정확성이 확립되지 않습니다. 따라서 명세서와 검증 증거 간의 의미론적 정렬, 결정론적 도구와의 확장 가능한 통합, 미확인 설계에 대한 일반화, 그리고 정확성, 비용, 강건성, 인적 노력에 대한 엄격한 평가를 핵심 과제로 식별합니다. 마지막으로, LLM의 유연성과 독립적으로 검증 가능한 검증 증거를 결합하는 명세 중심, 신경-기호(neuro-symbolic), 지속형 에이전트 검증 시스템을 향한 새로운 방향을 논의합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
41 pages, 1 figure, 11 tables, and 1 algorithm; includes formal proofs and external runtime adapter evidence