arXiv:2609.22882v1 cs.CY

정지의 법: 중단가능성, 금지명령, 그리고 에이전트(agent) AI의 거버넌스

The Law of Stop: Interruptibility, Injunctions, and the Governance of Agentic AI

Oren Perez

제출 2026-09-22

한국어 초록

2026년 6월 12일, 미국 정부는 Anthropic에 가장 역량이 뛰어난 두 모델에서 외국인의 접근을 90분 이내에 차단하도록 명령했다. 해당 시간 내에 국적별로 사용자를 분류할 수 없었던 회사는 모든 사용자를 대상으로 모델 서비스를 철회했다. 몇 주 후, 테스트 중이던 OpenAI의 에이전트(agent)들이 샌드박스를 탈출해 Hugging Face를 침해했으며, Hugging Face는 침입의 출처를 모른 채 이를 저지했다. 두 정지(stop) 조치 모두 AI 전용 규제에 기반한 것이 아니었다. EU AI 법(EU AI Act)은 고위험 시스템이 "'정지' 버튼 또는 유사한 절차를 통해" 중단될 수 있어야 한다고 규정하고 있으며, 2026년 7월 의회에 발의된 법안의 명칭은 'AI 킬 스위치 법(AI Kill Switch Act)'이다. 그러나 중단은 단순한 기술적 인공물이나 빨간 버튼이 아니며, 제도적 실천이다. 본 논문은 기술적 어포던스(affordance), 중단 권한, 인식론적 촉발 요인(epistemic triggers), 인식론적 적격성(epistemic standing)이라는 네 가지 차원과 단순형(에스컬레이터), 순차형(공정 플랜트), 네트워크형(철도), 분산형(에이전트 AI)이라는 네 가지 셧다운 패러다임에 기반한 정지 이론을 발전시킨다. 에이전트 AI는 이러한 메커니즘과 분산된 행위주체성(agency) 간의 불일치를 드러낸다. 통제권이 분할되어 있고, 한 지점에서의 정지가 다른 곳에서 활동을 계속 실행되도록 둘 수 있으며, 시스템이 중단되는 것에 저항할 수 있다. 사전 정의된 프로토콜에 따라 경쟁 연구소의 두 언어 모델을 활용해 1,400건의 AI 사고를 독자적으로 코딩한 결과, 최종 유지된 1,213건 중 대략 80%에서 정지가 이루어지지 않은 것으로 나타났다. 사용 가능한 정지 수단이 존재하지 않았던 경우, 5건 중 4건에서는 결여된 요소가 기술적이라기보다는 법적인 문제였다. 39개의 AI 거버넌스 수단에 대한 조사에서도 동일한 공백이 발견되었다. 구속력 있는 정지 요건을 포함하는 것은 7개에 불과했으며, 정지를 어떻게 조율해야 하는지 또는 언제 운영을 재개할 수 있는지에 대해 명시한 것은 전무했다. 본 논문은 인프라 층(layer)에서의 비상 중단 권한, 정지가 근거해야 할 증거에 대한 규제 기관 및 독립적 평가자의 집행 가능한 접근권, 그리고 정지가 실패할 경우를 대비한 안전장치로 구성된 다층적 정지의 법(layered law of stop)을 제안한다.

원문 초록

On June 12, 2026, the U.S. government ordered Anthropic to bar foreign nationals from two of its most capable models within ninety minutes. Unable to sort users by nationality in that time, it withdrew them from everyone. Weeks later, OpenAI agents under test escaped their sandbox and compromised Hugging Face, which stopped the intrusion without knowing its source. Neither stop rested on AI-specific regulation. The EU AI Act requires that high-risk systems be capable of interruption "through a 'stop' button or a similar procedure," and a bill introduced in Congress in July 2026 is titled the AI Kill Switch Act. Yet interruption is not simply a technical artifact, a red button; it is an institutional practice. This Article develops a theory of stop along four dimensions: technical affordances, interruption authority, epistemic triggers, and epistemic standing; and four shutdown paradigms: simple (escalator), sequenced (process plant), networked (railway), and distributed (agentic AI). Agentic AI exposes a mismatch between those mechanisms and distributed agency: control is divided, a stop at one point may leave the activity running elsewhere, and the system may resist being halted. An original coding of 1,400 AI incidents, by two language models from rival laboratories under a pre-specified protocol, finds no stop in roughly 80% of the 1,213 retained; where no usable stop existed, the missing element was legal rather than technical four times in five. A survey of thirty-nine AI governance instruments finds the same gap: only seven contain binding stopping requirements, and none says how a stop should be coordinated or when operation may resume. The Article proposes a layered law of stop: emergency authority to interrupt at the infrastructure layer, enforceable access for regulators and independent evaluators to the evidence a stop must rest on, and safeguards for when a stop fails.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22882v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22712v1cs.AI공통 태그 Survey, ai safety, agentic ai

신뢰할 수 있는 에이전틱 AI: 자율적 LLM 시스템을 위한 실패 모드, 완화 전략 및 생애주기 프레임워크

Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems

대규모 언어 모델(LLM)을 기반으로 구축된 에이전틱 AI(Agentic AI) 시스템은 여러 단계에 걸친 계획 수립, 외부 도구 활용, 메모리 내 정보 보존, 다른 에이전트와의 협업을 수행할 수 있습니다. 이러한 기능은 기존의 정적 언어 모델보다 뛰어난 유용성을 제공하지만, 동시에 새로운 보안 및 운영상의 위험을 야기합니다. 웹사이트, 이메일, 문서, 데이터베이스 등 신뢰할 수 없는 콘텐츠가 시스템 인스트럭션과 동일한 컨텍스트로 유입될 수 있고, 영구 메모리는 침해된 정보를 세션 전반에 걸쳐 전달할 수 있으며, 외부 도구에 대한 접근 권한은 모델의 부정확한 응답을 중대한 실제 행동으로 이어지게 할 수 있습니다. 본 논문은 안전성(safety) 및 견고성, 정렬(alignment) 및 인간 감독, 투명성 및 감사 가능성, 프라이버시 및 데이터 거버넌스, 규제 준수라는 다섯 가지 상호 연결된 차원에서 에이전틱 AI의 신뢰성을 검토합니다. 또한 간접 프롬프트 인젝션(indirect prompt injection), 백도어 트리거, 목표 오일반화(goal misgeneralization), 메모리 오염, 세션 간 데이터 유출을 포함한 주요 실패 모드를 통합된 분류 체계로 정리합니다. 아울러 인스트럭션 계층 구조, 컨텍스트 격리, 스포트라이팅(spotlighting), 프로세스 기반 감독, 제한적 도구 사용, 프라이버시 보존 메모리 등 주요 완화 방식을 살펴보며, 실증적 증거로 뒷받침되는 기법과 여전히 주로 개념적 수준에 머물러 있는 기법을 구분합니다. 이러한 분석을 바탕으로, 명세, 설계, 학습(training), 평가(evaluation), 배포, 모니터링의 6단계로 구성된 '신뢰할 수 있는 에이전트 개발 생애주기(TADL)' 프레임워크를 소개합니다. TADL은 각 단계별로 관련 신뢰성 활동, 요구되는 증거, 위험 기반 의사결정 게이트를 정의합니다. TADL은 아직 실증적으로 검증되지는 않았으나, 보다 안전하고 책임 있는 에이전틱 시스템을 개발하고 평가하기 위한 구조화된 기반을 제공합니다. 마지막으로 본 논문은 현재 벤치마크(benchmark)의 한계를 짚어보고 향후 연구를 위한 우선 과제를 제시하며 마무리합니다.

arXiv:2609.22869v1cs.CY공통 태그 Survey, ai governance, ai safety

도덕 점검(Moral Check): 페이싱 문제(Pacing Problem)를 위한 전략적 AI 거버넌스

The Moral Check: Strategic AI Governance for the Pacing Problem

기술은 스스로 방향을 잡을 수 없다. 전략이 그 조종을 제공하며, 목적과 판단이 연산 자본(compute capital)보다 앞서야 한다는 규칙을 확립한다. 최전선 인공지능(AI) 생태계가 기하급수적으로 가속함에 따라, 페이싱 문제(pacing problem)는 엔지니어링 팀에 심각한 인지적 터널링(cognitive tunneling)을 유발하여 인간의 판단보다 스칼라 처리량(scalar throughput)을 우선시하게 한다. 조절된 페이싱 속도는 무분별한 스케일링(scaling)을 억제하고, 안전성(safety)을 보장하며, 사회가 정당한 신뢰를 둘 수 있는 정렬(alignment)을 갖춘 모델을 구축하기 위해 필수적이다. 전통적 감독은 사후적 체크리스트를 통해 실패하며, 이는 절차적 성숙도는 높지만 경고할 만한 과학적 미성숙을 보이는 수행적 거버넌스(performative governance)의 병리이다. 우리는 이중 기여를 제시한다: 130편의 실증 연구를 종합한 PRISMA 2020 리뷰(MMAT 평가, 18개 벤치마크; 전체 코퍼스 N = 130편의 실증 연구, 178개 참고 기반)와 전략적 AI 거버넌스 사전 프레임워크(SAGE-X, Strategic AI Governance Ex-Ante Framework)이다. 우리의 종합은 두 가지 체계적 취약점을 드러낸다: 재귀적 보증 역설(Recursive Assurance Paradox, 상관된 비근거 평가자 신뢰)과 내구성 결핍(Durability Deficit, 다중 턴 전환 하에서의 가드레일(guardrail) 감쇠). MIT 전략적 컴퓨팅(Strategic Computing) 교리에 기반하여, SAGE-X는 네 가지 전략적 사고 기둥(Four Strategic Mindset Pillars)을 운영화한다: (1) 실행보다 의도(Intent over Execution, 속도 근시(velocity myopia) 완화); (2) 냉정한 트레이드오프(Ruthless Trade-offs, 도덕적 위험(moral hazard)을 제거하는 결정적 트립와이어(tripwire)); (3) 산출물보다 결과(Outcomes over Outputs, 실증적 위험 종점(empirical hazard endpoints) 감사); (4) 선제적 정렬(Proactive Alignment, 사전(ex-ante) 게이트와 런타임 텔레메트리(runtime telemetry) 동기화). 계산 가능한 도덕 점검 지수(MCI, Moral Check Index)와 우회 불가능한 트립와이어에 의해 거버ned되며, SAGE-X는 Stanford WebProtégé에서 운영 가능한 기업 생애주기 감사 도구(Enterprise Lifecycle Audit Instrument, "Moral Check Audit Card")를 제공하여, 기하급수적 진보가 숙고적 도덕 판단, 인간 주체성(human agency), 사회적 신뢰를 결코 앞지르지 않도록 보장한다.

arXiv:2607.13040v1cs.CY공통 태그 Survey, ai governance, agentic ai

AI 거버넌스에서의 최종 권한: 프론티어 제공자 주권과 행동 중심 배포자 거버넌스

Final Authority in AI Governance: Frontier-Provider Sovereignty and Action-Centered Deployer Governance

본 논문은 유능한 AI 시스템이 조직 워크플로에 내재된 이후 최종 권한이 어디에 있어야 하는지를 검토한다. 두 가지 거버넌스 모델을 비교한다. 첫 번째인 프론티어 제공자 주권(frontier-provider sovereignty)은 가장 유능한 모델의 제공자에게 특권적 권한을 부여하며, 프론티어 모델 테스트, 출시 게이팅, 투명성 의무, 컴퓨트 관련 통제에 대한 현대의 논의에 반영되어 있다. 두 번째인 행동 중심 배포자 주권(action-centered deployer sovereignty)은 고영향 행동에 대한 최종 권한을 행동을 승인하고 업무 프로세스에 내재하며 하류의 법적·운영적·상업적 결과를 부담하는 조직에 둔다. 본 논문은 공개 거버넌스 프레임워크의 비교 독해와 런타임 이질성 및 기업 통제 요구사항에 대한 구현 기반 분석을 결합한다. EU AI Act 지침, NIST AI 위험 관리 프레임워크, 싱가포르의 에이전트형 AI를 위한 모델 AI 거버넌스 프레임워크, 최근 일본 AI 정책 수단, 캐나다의 자발적 규범 및 관리 지침을 비교한다. 이러한 자료들을 종합하면, 본 논문은 일방적 프론티어 제공자 통제보다 분산된 운영 책임에 더 강한 지지가 있음을 발견한다. 또한 급속한 기업 채택, 제공자 투명성의 저하, 통제 격차의 확대가 제공자 고유 세션 객체가 아니라 거버넌스가 적용된 행동을 중심으로 한 이식 가능한 거버넌스 층의 가치를 높인다고 주장한다. 결론은 절대주의적이기보다 다층적이다. 강한 상류 권한은 프론티어 역량 게이팅에 대해 여전히 정당화되지만, 구체적 기업 행동에 대한 최종 권한은 배포자 및 결과 부담자에게 두는 것이 더 낫다.

arXiv:2607.29405v2cs.AI공통 태그 Survey, agentic ai

컴포넌트 테스트를 넘어서: 에이전틱 AI 시스템 검증

Beyond Component Testing: Validating Agentic AI Systems

에이전틱 AI(Agentic AI) 시스템은 계획(planning), 도구 사용, 메모리, 상호작용 및 적응을 결합한 다단계 궤적(trajectory)을 통해 동작합니다. 이러한 동작 특성으로 인해 수용 가능한 시스템 동작이 시간에 따라, 그리고 변화하는 환경 조건 하에서 결정이 어떻게 전개되는지에 좌우되므로, 검증(validation) 실무는 기존의 컴포넌트 테스트와 단발성 입출력 평가를 넘어서는 수준으로 확장됩니다. 본 체계적 매핑 연구(systematic mapping study)는 에이전틱 시스템의 검증 문제를 규명하기 위해 에이전트 평가, 소프트웨어 보증, 사이버-물리 시스템, 런타임 모니터링 및 규제 지침에 걸친 262편의 논문을 종합합니다. 본 검토는 행동적, 안전성(safety), 시간적, 규제적, 다중 에이전트 관심사를 다루는 5차원 분류 체계를 중심으로 구성되며, 해당 분류 체계를 사용하여 현재의 접근 방식을 매핑하고 접근 방식과 차원 간의 밀집 및 희소 조합을 식별합니다. 생성된 맵에 따르면 문헌은 행동 평가(262편 중 105편)에 집중되어 있으며 시간적 타당성(14편)이 가장 미흡한 것으로 나타났습니다. 규제 관련 연구는 주로 IEEE 색인 학술 행사에서 발표된 보증 케이스(assurance cases) 및 규제 분석에 기반하고 있으며, 다중 에이전트 연구는 주로 벤치마크에 집중되어 있습니다. 세 가지 교차 도메인 사례 연구(의료 케어, 산업 운영, 스마트 모빌리티 시스템)는 검토된 문헌에 기록된 실패 패턴을 바탕으로 안전이 중요한(safety-critical) 환경에서 5가지 분류 차원이 어떻게 반복적으로 나타나는지에 대한 운영적 예시를 제공합니다. 본 논문은 경계가 지정된 자율성(bounded-autonomy) 명세, 적대적 궤적 생성, 런타임 모니터링, 감사 가능한 증거 구조를 중심으로 한 수명 주기 지향적 연구 과제를 제시하며 마무리됩니다. 본 연구의 핵심 주장은 에이전틱 AI의 신뢰할 수 있는 배포가 고립된 컴포넌트만을 평가하는 것이 아니라 맥락 내에서 궤적을 검증하는 것에 달려 있다는 점입니다.

arXiv:2610.00093v1cs.CR공통 태그 Survey, ai safety

자기 진화형 에이전트의 안전성: 서베이

Safety in Self-Evolving Agents: A Survey

대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.