Pincer: 디지털 트윈을 활용한 에이전트의 리소스 권한 부여
Pincer: Resource Authorization for Agents using a Digital Twin
한국어 초록
코딩 에이전트(agent)는 점점 더 장기적인 과제를 수행하고, 자율화되며, 범용 셸에 의존하고, 자체 개선을 위해 영구 메모리를 유지하도록 발전하고 있습니다. 이러한 기능 덕분에 에이전트는 더욱 강력해졌지만, 외부 공격자로부터 방어하기는 더욱 어려워졌습니다. 타입 기반 도구, 정보 흐름 제어, 정책 예측 엔진과 같이 이러한 아키텍처를 제한하는 방어 방식은 채택하기에는 너무 많은 기능을 희생시킵니다. 현재 배포된 에이전트(예: Claude, Codex)는 주요 방어 수단으로 사용자 중재형 샌드박싱과 자동 모드 샌드박싱의 결합에 의존합니다. 사용자 중재형 샌드박싱에서는 사용자가 관리하는 정책이 시간이 지남에 따라 약화되고 반복적인 권한 요청으로 사용자 피로가 발생하는 반면, 자동 모드의 도구 호출 분류기는 사용자별 정책을 학습하지 않으며 적대적 설정에 대한 방어를 목적으로 하지 않습니다. Pincer는 리소스 층(layer)에서 작동하며 자동 모드와 같은 도구 호출 층의 기존 방어 체계와 함께 작동하는 새로운 방어 방식입니다. Pincer의 핵심에는 격리된 컨텍스트 모델(model)인 디지털 트윈이 있으며, 이는 동적인 사용자별 최소 권한 정책을 자동으로 학습하고 시행합니다. 디지털 트윈은 사용자의 선호도를 지속적으로 학습하여 에이전트의 권한 요청에 대해 사용자의 대리인 역할을 수행할 수 있도록 합니다. 학습 단계를 모사하기 위해, 수일에 걸친 사용자-에이전트 상호작용 트랜스크립트를 따르는 예제를 포함한 새로운 사용자 중심 데이터셋(dataset)을 제안합니다. 평가 결과, Pincer는 다양한 대규모 언어 모델(LLM) 판정관 변형 및 Conseca(HotOS '25)의 적응 버전을 포함한 여러 베이스라인과 비교하여 보안성과 유용성 모두에서 뛰어난 성능을 보였습니다. Pincer의 설계가 다른 모든 베이스라인에 비해 현저한 보안 향상을 가져오는 공격 유형을 조명하며, 다른 유형의 공격에 대해서도 베이스라인을 능가함을 보입니다.
원문 초록
Coding agents have become increasingly long-horizon, autonomous, reliant on general-purpose shell and maintain their own persistent memory for self-improvement. While these capabilities have made the agents powerful, they have also made them harder to defend against external adversaries. Defenses that restrict this architecture --- typed tools, information-flow control, or policy prediction engines --- give up too much functionality to be adopted. Agents deployed today (e.g. Claude, Codex) rely on a combination of user-mediated and automode sandboxing as their primary defense. In user-mediated sandboxing, user-maintained policies decay over time and repeated permission requests cause user fatigue, while auto mode's tool-call classifiers learn no user-specific policy and are not meant to defend against adversarial setups. Pincer is a new defense that operates at the resource layer and works alongside existing defenses at the tool-call layer like the auto mode. At the core of Pincer lies a digital twin, an isolated-context model that automatically learns and enforces dynamic user-specific least-privilege policies. The digital twin keeps continually learning the user's preferences allowing it to act as the user's proxy for the agent's permission requests. To emulate the learning phase, we propose a new usercentric dataset with examples following a multi-day transcript of user-agent interaction. Our evaluation shows that Pincer performs strongly on both security and utility in comparison to several baselines which includes variants of LLM judges and adaptations of Conseca (HotOS '25). We highlight attack types where Pincer's design leads to a significant security improvement compared to all other baselines, while outperforming the baselines even for other types of attacks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
거짓 예언자: 에이전트 시스템 내 월드 모델의 보안성에 대하여
False Prophets: On the Security of World Models in Agentic Systems
대규모 언어 모델(LLM)은 이제 다양한 환경에서 복잡한 다단계 작업을 수행할 수 있는 자율 에이전트의 기반이 되고 있습니다. 이러한 작업을 정확하고 안정적으로 수행하려면 에이전트가 자신의 행동 결과를 예측해야 합니다. 최근 연구에서는 특별히 학습된 환경 시뮬레이터인 월드 모델(world model)을 통해 이러한 예측 능력을 향상시킬 것을 제안합니다. 월드 모델은 성능을 향상시킬 수 있지만, 에이전트가 유해한 행동을 실행하도록 오도하여 심각한 보안 및 개인정보 보호 위험을 초래할 수도 있습니다. 본 논문에서는 에이전트 시스템에서 월드 모델을 사용하는 것에 대한 보안 우려를 제기합니다. 저자들은 터미널 기반 에이전트에서 악성 코드를 실행하거나 민감한 데이터를 탈취하는 데 악용될 수 있는 월드 모델 특화 취약점들을 발견했습니다. 향후 발전을 촉진하기 위해 텍스트 기반 월드 모델용으로 설계된 보안 벤치마크 데이터셋을 소개합니다. 저자들은 일부 위험이 근사 월드 모델링(approximate world modeling)에 내재되어 있다고 주장하며, 공격자가 에이전트 파이프라인에서 최대 95%의 성공률로 오예측을 유도할 수 있음을 보입니다. 이는 의도치 않은 명령어 실행, 서비스 거부(DoS), 지갑 자금 유출 및 개인정보 탈취로 이어질 수 있습니다. 마지막으로, 발견된 위해를 완화하고 에이전트 시스템을 강화하기 위해 실무자를 위한 실용적인 권장사항을 제시합니다.
Linguistic Firewall: Geometry as Defense in Multi-Agent Systems Routing
Chronos 취약점: 에이전트형 AI에서의 시간적 지속성 및 메모리 기반 기만의 분류체계
The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI
인공지능에서 상태 비저장(stateless) 생성 모델에서 상태 저장(stateful) 자율 에이전트로의 전환은, 장기 계획 수립 능력과 기업 워크플로 자동화라는 역량을 제공하는 동시에 Chronos 취약점이라는 새로운 형태의 보안 위협을 도입하는 아키텍처적 진화를 나타낸다. Chronos 취약점은 메모리 주입 공격(MINJA)과 잠복 에이전트(sleeper agent) 등 메모리 기반 공격의 위협을 나타내며, 이 공격들에서는 자율 에이전트의 내부 신념 체계가 손상되어 공격 벡터가 최종적 치명적 사건과 효과적으로 분리된다. 본 연구는 지속성 기반 공격에 대한 위협 모델과 World of Workflows 벤치마크 맥락에서의 Dynamics Blindness 위협을 형식화하고, 기존 엔드포인트 콘텐츠 필터가 현재의 상태 저장 아키텍처에 불충분함을 보여준다. 이에 따라 본 연구는 심층 방어(defense-in-depth) 환경을 종합하여, 진단적 궤적 가드레일(AgentDoG), 형식적 시간적 검증(Agent-C), 면역학적 메모리 합의(A-MemGuard), GPU 기반 신뢰 실행 환경(TEE) 및 Zero-Trust 메모리 아키텍처를 통한 하드웨어 기반 신뢰와 같은 신흥 프레임워크를 분류한다.
Token-Flow Firewall: 지속형 AI 에이전트를 위한 시맨틱 런타임 감사
Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents
지속형 AI 에이전트는 대규모 언어 모델(LLM)을 단일 턴 상호작용을 넘어 장기 실행 소프트웨어 시스템으로 확장한다. 전통적인 채팅 어시스턴트와 달리, 이러한 에이전트에서 안전하지 않은 콘텐츠는 영속 상태(persistent state), 재사용 가능한 스킬, 도구 매개 상호작용을 통해 전파될 수 있어 실질적으로 더 넓은 시맨틱 공격 표면을 형성한다. 우리는 이러한 에이전트에서 보안상 중요한 상호작용의 대부분이 메모리 업데이트, 도구 인자, 검색된 파일, 컴포넌트 간 통신 등 자연어 토큰 흐름을 통해 전달된다는 점을 관찰하였다. 이 관찰은 새로운 보안 공식화를 가능하게 한다: 안전하지 않은 동작은 권한이 부여된 런타임 싱크(sink)에 도달하기 전에 위험한 시맨틱 흐름으로서 차단될 수 있다. 이러한 통찰에 기반하여, 우리는 에이전트 토큰 흐름에 대한 시맨틱 방화벽으로 동작하는 런타임 방어 프레임워크인 TokenWall을 제안한다. TokenWall은 이러한 흐름에 대해 경계 인식 시맨틱 감사를 수행하며, 구조화된 소스-싱크 감사 레코드를 구성하고, 실행 전 경량 로컬 검사를 적용하며, 모호한 고위험 사례를 선택적으로 더 강력한 중재 모듈로 에스컬레이션한다. 희소 감사나 원격 대형 모델 감독에 의존하는 기존 접근법과 달리, TokenWall은 원격 중재 횟수와 지연 시간을 줄이면서 실행 전 전수 매개(full-coverage pre-execution mediation)를 가능하게 한다. CIK-Bench 실험에서 TokenWall은 공격 성공률을 12.5%로 낮추는 동시에, 인간 확인 없이 97.4%의 정상 실행 통과율을 유지하였다. TokenWall은 정상 케이스에서 추가 지연을 0.69초만 발생시키며, 시맨틱 런타임 억제(semantic runtime containment)가 지속형 AI 에이전트에 대해 실용적인 보안-효용 트레이드오프를 달성할 수 있음을 보여준다.
트윈 인식 연합 강화학습을 통한 자율주행 시스템 보안
Securing Autonomous Vehicle Systems via Twin-Aware Federated Reinforcement Learning
연합 강화학습(FRL)은 원시 데이터를 공유하지 않고 다수의 에이전트에 걸친 협력 학습을 가능하게 함으로써 동적 차량 환경에서의 의사결정 과정에서 프라이버시와 확장성을 향상시키는 데 있어 핵심적이다. 그러나 포이즈닝 공격은 FRL 기반 시스템의 보안과 신뢰성에 심각한 위협을 가하며, 특히 이 취약점이 아직 충분히 탐구되지 않은 안전 필수적 자율주행 분야에서 더욱 그러하다. 이러한 공격은 악의적인 시스템 파라미터를 교묘하게 주입하여 전역 제어 모델을 손상시킴으로써 잠재적 위험을 초래할 수 있다. 이러한 도전 과제에 대응하기 위해, 우리는 안전 필수적 주행 시나리오를 위해 설계된 FRL 시스템의 견고성을 향상시키기 위한 방어 프레임워크로서 \alg(포이즈닝 방지 및 이력 강화를 갖춘 보안 집계)를 제시한다. \alg는 리허설 기반 학습을 위해 디지털 트윈을 전략적으로 통합하고, 과거의 집계된 모델 파라미터와 선택된 중심 그래디언트를 활용하여 양성 데이터만 집계되도록 보장함으로써 악의적 에이전트의 영향을 효과적으로 완화한다. 포이즈닝 공격이 존재하는 상황에서 \alg의 수렴 성능에 대한 이론적 보장이 제공된다. 또한 적대적 조건 하에서 자율주행 차량의 제어를 평가하기 위해 실제적인 고속도로 환경을 모델링하는 개발된 디지털 트윈을 사용하여 \alg의 효과를 검증한다.
Prismata: 웹 에이전트에서의 크로스사이트 프롬프트 인젝션 제한
Prismata: Confining Cross-Site Prompt Injection in Web Agents
자율 웹 에이전트는 일상적인 브라우징 작업을 자동화할 것을 약속하지만, 웹의 가장 오래된 공격 표면 중 하나를 그대로 물려받는다. 크로스사이트 스크립팅(Cross-Site Scripting)은 신뢰할 수 있는 콘텐츠와 신뢰할 수 없는 콘텐츠를 혼합하는 것이 악의 없는 페이지에서도 위험하다는 것을 증명했다. 에이전트는 자연어를 명령으로 해석함으로써 이 위험을 다시 부각시키며, 서드파티 및 사용자 생성 콘텐츠가 프롬프트 인젝션을 통해 에이전트를 탈취할 수 있게 한다. 핵심 과제는 작업별 보안 정책을 도출하는 데 공격자의 콘텐츠와 얽혀 있는 페이지 구조에 대한 추론이 필요하다는 점이다. 우리는 웹 에이전트에 대한 맥락적 최소 권한(contextual least privilege)을 적용하는 방어 체계인 Prismata를 제안하며, 에이전트가 보는 것과 할 수 있는 것 모두를 제한한다. Prismata의 동적 신뢰 도출은 페이지 콘텐츠에 대한 권한 레이블을 생성하며, 고전적인 무결성 모델에서 영감을 받은 구조적 제한(structural confinement) 보장을 통해 레이블링 오류를 한정하여 레이블이 권한 측면에서만 감소할 수 있고 오분류의 범위가 제한되도록 한다. Prismata의 기계적 제한(mechanical confinement)은 콘텐츠를 편집 제거하고 에이전트 기능을 제한함으로써 이러한 레이블을 집행한다. 중요하게도, 이러한 메커니즘은 개발자 어노테이션을 필요로 하지 않으므로 Prismata는 다양한 웹사이트의 긴 꼬리(long tail)를 지원한다. 적응형 변형을 포함하여 최근 발표된 웹 에이전트 공격들에 걸쳐, Prismata는 정상적인 작업 유용성을 유지하면서 공격 성공률을 실질적으로 감소시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.