에이전트가 커널이 될 때: AI-네이티브 운영체제로 가는 길에서의 보안 체계화
When the Agent Becomes the Kernel: A Systematization of Security on the Path to AI-Native Operating Systems
대규모 언어 모델(LLM) 에이전트는 이제 코드 저장소 편집, 받은편지함 운영, 구매 완료 등 결과에 큰 영향을 미치는 행동을 수행하는 특권 주체(principal)가 되었다. 그 권한은 커널급이지만, 고전적 시스템 보안이 요구하는—모든 접근에 개입하는 신뢰할 수 있는 중재자—는 없이 주어진다. 운영체제(OS) 벤더들은 이 사실상의 에이전트 커널을 중심으로 플랫폼을 재구축하고 있으며, 완전한 중재(mediation)를 설계 문제로 물려받고 있다. 우리는 이러한 시스템의 보안을 하나의 구분을 중심으로 체계화한다: 출처(provenance)에 대한 중재로 통과하는 경계는 결정론적 검사를 허용하는 반면, 콘텐츠 의미론(content semantics)에 대한 것은 그렇지 않다. 신뢰 경계(trust-boundary) 분류체계는 중재가 발생해야 하는 위치를 규정하고, 핵심 중재 격차를 두 종류의 의미론적 판단에 고립시킨다: 신뢰할 수 없는 입력에서 데이터와 지시(instruction)를 구별하는 것, 그리고 허가된 행동과 비허가 행동을 구별하는 것. 우리는 이 격차가 입력과 행동이 사전에 열거된 집합으로 제한되지 않는 모든 곳에서 감지되지 않은 공격의 환원 불가능한 잔존(residual)을 남긴다고 주장한다. 동일한 구분은 공격 성공 통계를 실행 가능하게 만들어, 각 수치를 배포 부채(건전한 결정론적 중재자가 사용되지 않은 경우)부터 구조적 격차(그러한 중재자가 알려지지 않은 경우)까지의 스펙트럼에 배치한다. 우리는 런타임 모니터링, 아키텍처 분리, 권한 부여(authorization)에 걸친 방어를 체계화하고, 현재 평가가 평가 타당성(evaluation-validity) 실패를 통해 배포된 보안을 과대평가하는 경향이 있음을 보인다. 마지막으로, 우리는 그 분석을 사실상의 커널을 넘어, 모델 자체가 중재 핵심(arbitration core)이 되는 아키텍처까지 확장하고, 보안 우선 AI-네이티브 OS를 위한 설계 제약, 미해결 과제, 연구 의제를 도출한다.