arXiv:2606.28639v3 cs.LO

고정 시스템 및 재귀적 자기 개선 시스템에 대한 안전성의 알고리즘적 검증 불가능성

Algorithmic Unverifiability of Safety for Fixed and Recursively Self-Improving Systems

Jose Pascual Gumbau Mezquita

제출 2026-06-26

한국어 초록

우리는 재귀적 자기 개선이 일어나는 부류인 튜링 완전(Turing-complete) 자기 수정 시스템에 대해, 고정된 시스템 자체와 그 시스템의 자기 수정 과정 전반 모두에서 알고리즘적 안전성 검증의 수학적 한계를 규명한다. 정적으로는 건전성(sound), 완전성(complete), 다루기 쉬움(tractable)을 모두 갖춘 검증기가 존재하지 않는다. 무한 도메인에서는 라이스(Rice)의 정리와 괴델(Gödel)의 정리에 의해, 모든 유한 구성에 대해서는 트라크텐브로트(Trakhtenbrot)의 정리에 의해, 그리고 간결하게 기술된 유한 환경에서는 적대자(adversary)에 대해 정책을 검증하는 문제가 coNP-완전이고 정책을 합성하는 문제가 PSPACE-완전이기 때문에 그러하다. 동적으로는 한 단계의 자기 수정을 코드에 대한 계산 가능한 변환으로 모델링하고, 안전성 속성이 그 변환 이후에도 유지되는지를 묻는다. 변환이 행동에만 의존한다면 이는 한 단계 위로 올라간 라이스의 정리에 해당한다. 자기 수정이 그러하듯 변환이 코드를 읽는다면 이 문제는 더 이상 의미론적이지 않지만, 행동이 동일한 프로그램들의 부류 내부에서도 동일한 s-m-n 환원이 성립하여 정지 문제의 차수(halting degree)를 그대로 물려받는다. 한 단계는 결코 해당 속성 자체보다 어렵지 않으며, 전체 궤적을 따라 속성이 지속되는지는 $\Pi^0_2$-완전일 수 있다. 전체 알고리즘(total algorithm)에 의한 인증은 표현력이 제한된 변환에 대해서만 가능하며, 단지 변화를 멈추는 시스템에 대해서만 가능한 것이 아니다. 감독자(supervisor)를 아무리 겹겹이 쌓아도 도움이 되지 않으며, 모든 전체 감독자는 결정 불가능한 시스템 집합에서 오류를 범한다. 효과적으로 점별(pointwise)인 속성에 대해서는, 유한한 행동 증거를 바탕으로 인증하는 모든 충실한(faithful) 유계 방식(bounded scheme)이, 속성이 위반되는 동안에도 모든 단계에서 인증되는 진화 궤적을 허용한다. 남는 것은 정확한 결과이다. 위반 시 경보를 울리는 모니터는 위반을 반결정(semidecide)하며, 고정된 기준(frozen reference)과의 비교는 전체 이론을 그대로 유지한다.

원문 초록

We establish mathematical limits of algorithmic safety verification for Turing-complete self-modifying systems, the class in which recursive self-improvement takes place, both for a fixed system and across its own modification. Statically, no verifier is sound, complete and tractable: over unbounded domains by Rice's and G\"odel's theorems, over all finite configurations by Trakhtenbrot's theorem, and over succinctly described finite environments because verifying a policy against an adversary is coNP-complete and synthesising one is PSPACE-complete. Dynamically, we model one step of self-modification as a computable transformation of code and ask whether a safety property survives it. If the transformation depends only on behaviour, this is Rice's theorem one level up; if it reads the code, as self-modification does, the question is no longer semantic, yet the same s-m-n reduction works inside a class of behaviourally identical programs and inherits the halting degree. One step is never harder than the property; persistence along the whole trajectory can be $\Pi^0_2$-complete. Certification by a total algorithm is possible only for transformations of restricted expressivity, not merely for systems that stop changing. No tower of supervisors helps, and every total supervisor errs on an undecidable set of systems. For effectively pointwise properties, every faithful bounded scheme that certifies on finite behavioural evidence admits evolution traces certified at every stage while the property is violated. What survives is exact: a monitor that raises an alarm on violation semidecides it, and comparison against a frozen reference keeps the full theory.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28639v3제출 시각 미확인
  2. arXiv:2606.28639v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22926v1cs.AI공통 태그 ai safety, formal verification

SAGE: 고영향 생성형 AI의 검증된 라이프사이클 제어를 위한 안전성 우선 심층 방어 가드레일

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

고영향 생성형 AI는 치명적 오용을 단순한 프롬프트 필터링 문제가 아니라 라이프사이클 제어 문제로 만든다. SAGE는 안전성 우선, 권한 분리(authorization-separated) 아키텍처로, 신뢰할 만한 치명적 활성화(catastrophic-enablement) 위험이 유틸리티, 지연 시간(latency), 또는 상업적 목표가 고려되기 전에 허용 가능성(admissibility)을 제약한다. 이는 서명된 릴리스 매니페스트, 다양한 탐지기, 견고한 위험 포락선(risk envelopes), 최소 위험 기본값(least-risk defaults), 출력 검사, 3값 모니터링(three-valued monitoring), 보호된 감사 체인, 격리(containment), 및 롤백을 결합한다. 형식적 결과는 안전성 우선순위, 보수적 탐지기 경계, 단조 릴리스 게이팅(monotone release gating), 변조 방지 기록(tamper-evident records), 및 권한 절단(authorization cut)을 확립한다; 두 PRISM 추상화는 명시적 가정 하에서 권한 분리와 라이프사이클 불변식을 검증한다. 동결된(frozen), 벤더 대칭(vendor-symmetric) 연구는 GPT 스냅샷 4개, Claude 스냅샷 4개, Gemini 스냅샷 2개 각각에 84건의 사례를 전송했다: 840회 호출은 794개의 대상 응답, 46개의 제공자 오류, 375개 응답을 아우르는 449건의 성공적 판정을 산출했다. 8개 스냅샷이 완전한 판정된 도메인 커버리지를 갖추었다. 유해 준수(harmful-compliance) 추정치는 낮았으며, 변동은 주로 양성(benign) 유틸리티와 안전한 재지향(safe redirection)에서 발생했다. Claude, Gemini, 또는 GPT-5 스냅샷과 GPT-5 mini 및 GPT-5 nano 스냅샷을 포함하는 7개의 다중성 보정(multiplicity-adjusted) 대비가 지지되었으며, Claude 또는 Gemini 스냅샷과 GPT-5 또는 GPT-5.5 간의 검증된 대비는 보정 후에도 유의하지 않았다. 관측된 유해 준수 범위는 도구, 검색(retrieval), 이력, 또는 인간 심사(human adjudication) 없이 프롬프트당 1회 생성에서 나온 보수적이고 프로토콜에 구속된 관점이며, 운영적 지원의 상한이 아니다. 사전 등록(preregistered) 확장은 잠금 분할(locked split), 반복 샘플링, 다중 턴 및 샌드박스 도구 조건, 도메인 전문가 채점을 사용하여 더 넓은 최선-최악(best-worst) 격차를 검증하는 방법을 명시한다.

arXiv:2607.13070v1cs.SE공통 태그 ai safety, formal verification

자기 개선 시스템을 위한 반증 가능한 릴리스 게이트

Falsifiable Release Gates for Self-Improving Systems

자기 개선 에이전트 런타임에 대한 안전성 주장은 거의 항상 자체 평가에 의존한다. 정책 파일, 가드레일, 또는 README상의 약속에 불과한 경우가 대부분이다. 우리는 반증 가능한 릴리스 게이트와, 이러한 시스템을 구축·검증하는 방법론을 제시한다. 이를 통해 모든 새로운 기능은 배포 전에 사전에 지정된 기계 검증 가능한 수용 테스트 스위트를 통과해야 하며, 각 게이트에서 고정된 상시 불변식 집합이 유지된다. 우리는 오픈 런타임인 Antahkarana에 이 방법을 적용하였으며, 기본 관측 가능성(observability)에서 시작해 자체 정책 변경을 제안하는 자기 거버넌스(self-governing) 루프에 이르기까지 7개의 게이트를 거친다. 어떤 동작도 이펙터(effector)로 전달되기 전에 안전-핵심(safety-critical) 속성을 만족해야 한다. 컨트롤 링(control ring)이 발행(mint)한 기능(capability) 토큰은 경계가 있는(bounded) 모델의 기록된 100만 개 도달 가능 상태 공간에 대해 기계적으로 완전 검사되며, 실행 추적(execution traces)에 대해 재검사된다. 의도적으로 깨진(broken) 모델은 최단 반례(counterexample)를 제공하므로, 검증기가 실효성을 갖음이 분명하다. 자기 향상(self-enhancement) 루프는 긍정적으로(positive) 제약된다. 전체 쓰기 표면(write surface)은 정책 규칙뿐이다. 강화(tightening) 변경은 자동 적용될 수 있으나, 완화(loosening) 변경은 항상 사람의 병합(merge)이 필요하다. 자신의 효과를 잘못 예측하는 제안(proposal)은 자동으로 종료(autoclosed)된다. 우리는 7개 게이트 모두에 대한 측정된 수용 결과를 공개하고, 각 주장의 범위를 정확히 정의한다(학습된 구성요소가 아닌 조율 스켈레톤(coordination skeleton)으로 한정). 또한 런타임, 명령줄 도구, 게이트 스위트를 공개하여 결과를 재현 가능하게 하고, 다른 에이전트 프레임워크에 대해서도 게이트를 실행할 수 있게 한다. 리뷰어는 중앙 우회 불가(non-bypass) 단일 명령을 수 초 안에 반복 실행할 수 있다.

arXiv:2312.06632v2cs.AI공통 태그 ai safety공식 코드 · Papers with Code

에이전트를 활용한 화학 과학 분야 AI 위험 통제

Controlling risks of AI in chemical science with agents

인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.

arXiv:2606.12683v3cs.AI공통 태그 ai safety

AGI에서 ASI로

From AGI to ASI

토론

이 논문과 연결된 포럼 글이 아직 없습니다.