arXiv:2604.19657 cs.CR

An AI Agent Execution Environment to Safeguard User Data

제출 2026-04-21

한국어 초록

AI 에이전트는 사용자에게 범용 개인 비서로서 기능할 것으로 기대되며, 이를 위해서는 개인 및 금융 정보와 같은 비공개 사용자 데이터에 접근할 수 있어야 합니다. 이는 보안과 프라이버시에 심각한 위험을 초래합니다. 공격자는 AI 모델을 공격할 수 있으며(예: 프롬프트 인젝션을 통해), 이를 통해 사용자 데이터를 유출할 수 있습니다. 또한 AI 에이전트와 비공개 데이터를 공유하려면 사용자는 부도덕하거나 침해되었을 가능성이 있는 AI 모델 제공자에게 자신의 비공개 데이터를 신뢰하고 맡겨야 합니다. 본 논문은 비공개 사용자 데이터의 기밀성을 보장하는 AI 에이전트용 실행 환경인 GAAP(Guaranteed Accounting for Agent Privacy)를 제시합니다. GAAP는 동적이고 지시된 사용자 프롬프트를 통해 사용자의 비공개 데이터가 어떻게 공유될 수 있는지를 설명하는 권한 명세를 수집하며, AI 모델과 그 제공자에게 이루어지는 공개를 포함하여 에이전트의 비공개 사용자 데이터 공개가 이러한 명세를 준수하도록 강제합니다. 중요한 점은, GAAP가 비공개 사용자 데이터를 에이전트에게 신뢰하여 맡기지 않으면서도, 어떤 AI 모델이나 사용자 프롬프트도 공격으로부터 자유롭다고 가정하지 않고 이러한 보장을 결정적으로 제공한다는 것입니다. GAAP는 AI 에이전트가 비공개 사용자 데이터에 접근하고 이를 사용하는 방식을 추적함으로써 사용자의 권한 명세를 강제합니다. 또한 정보 흐름 제어(Information Flow Control)에 새로운 영속적 데이터 저장소와 주석을 결합하여, 단일 작업 내의 실행 단계 전반뿐 아니라 시간적으로 분리된 여러 작업에 걸쳐서도 비공개 정보의 흐름을 추적할 수 있게 합니다. 우리의 평가는 GAAP가 다른 최신 시스템들로 하여금 신뢰할 수 없는 제3자에게 비공개 사용자 데이터를 공개하게 만드는 공격을 포함한 모든 데이터 공개 공격을, 에이전트 유용성에 큰 영향을 주지 않으면서 차단함을 확인합니다.

요약

대규모 언어 모델 기반 에이전트가 개인 비서처럼 동작하려면 이메일, 결제 정보, 신원 정보처럼 민감한 사용자 데이터에 접근해야 하지만, 바로 그 지점에서 프롬프트 인젝션(prompt injection)과 모델 제공자에 대한 신뢰 문제라는 심각한 보안·프라이버시 위험이 발생합니다. 이러한 문제를 해결하기 위해 제안된 GAAP(Guaranteed Accounting for Agent Privacy)는 AI 에이전트를 위한 실행 환경으로서, 사용자가 동적으로 제시하는 권한 명세(permission specifications)를 수집한 뒤 에이전트의 모든 개인 데이터 공개가 그 명세를 충족하는지 결정적으로 보장합니다. 이 접근의 핵심은 에이전트나 사용자 프롬프트, 심지어 AI 모델 제공자까지도 신뢰하지 않는다는 점이며, 그럼에도 불구하고 민감 정보의 외부 유출을 막을 수 있도록 설계되었다는 데 있습니다. GAAP는 이를 위해 정보 흐름 제어(Information Flow Control, IFC)를 확장하고, 개인 데이터 저장소와 권한 저장소를 분리하여 에이전트가 직접 민감 정보를 임의로 취급하지 못하도록 통제합니다. 또한 disclosure log와 지속적 데이터 저장소, 그리고 주석(annotation) 기반의 메타데이터를 도입해 한 번의 실행 안에서 발생한 데이터 흐름뿐 아니라 시간적으로 떨어진 여러 작업 사이의 간접적인 정보 이동까지 추적합니다. 특히 Model Context Protocol(MCP)과 같은 외부 도구 생태계가 다양하게 연결되는 현실을 고려하여, 각 서비스 메서드가 어떤 당사자와 어떤 데이터 흐름을 갖는지를 주석으로 기술하는 프레임워크를 마련한 점이 인상적입니다. 이러한 설계는 단순한 공격 탐지나 사후 필터링이 아니라, 데이터가 어디에서 왔고 어디로 흘렀는지를 구조적으로 추적하여 유출 자체를 사전에 차단한다는 점에서 기존 접근과 뚜렷이 구별됩니다. 관련 연구가 대체로 신뢰된 모델, 정적 정책, 단일 작업 수준의 보호에 의존한 것과 달리, GAAP는 반복적이고 장기적인 에이전트 실행 환경에서도 사용자의 프라이버시 정책이 누적적으로 유지되도록 만든다는 점에서 방법론적 새로움을 보여줍니다. 평가 결과 또한 이러한 설계의 실용성을 뒷받침하며, 다른 최신 시스템들이 허용해 버리는 데이터 유출 공격들을 모두 차단하면서도 에이전트의 작업 수행 유용성은 크게 저하되지 않았습니다. 결국 이 논문은 에이전트형 인공지능의 활용을 확장하는 동시에, 민감한 사용자 데이터를 안전하게 다룰 수 있는 결정적 프라이버시 보장 체계를 제시함으로써, 향후 개인화된 AI 비서와 도구 기반 에이전트의 보안 설계에 중요한 기준점을 제공합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.