LLM 에이전트에서 쓰기가 가능하고 세션 간에 지속되는 메모리의 등장은 지속성, 상태성, 전파성이라는 세 가지 특성을 지니며, 기존의 입력 중심 보안 문제와는 질적으로 다른 위협 환경을 도입한다. 이러한 환경을 체계적으로 규명하기 위해, 우리는 공격, 방어 및 단계 간 의존성을 여섯 가지 수명주기 단계(쓰기, 저장, 검색, 실행, 공유 및 전파, 망각 및 롤백)와 네 가지 보안 목표(무결성, 기밀성, 가용성, 거버넌스)의 두 축에 따라 정리하는 메모리 수명주기 프레임워크를 제안한다. 이 분석은 다시 시스템 수준에서 명시적인 보안 요구사항이 필요함을 드러내며, 이는 선언된 시스템 및 위협 모델 경계 내에서 메모리 상태에 대한 감사 가능하고 복구 가능한 통제를 명세하고 평가하기 위한 다섯 가지 아키텍처 프리미티브의 프레임워크인 검증 가능한 메모리 거버넌스(VMG)의 동기가 된다. 우리의 분석은 수명주기 전반에 걸쳐 감사 가능한 예방, 차단, 복구를 지원하기 위해 출처 추적, 버전 관리, 정책 인식 보존을 검색 및 실행 방어와 통합할 필요성을 제시한다.
대규모 언어 모델(LLM) 에이전트는 외부 API, GPU 및 서버, 그리고 배포 및 승인과 같은 워크플로를 포함한 고가치 자원에 점점 더 많이 연결되고 있습니다. 기존 에이전트 보안 연구는 주로 정보 및 에이전트 동작에 대한 공격에 초점을 맞추고 있으며, 고가치 자원 자체는 공격 대상으로서 상대적으로 덜 주목받았습니다. 저자들이 아는 한, 본 연구는 공격자가 고가치 자원이나 그 자격 증명을 직접 획득하지 않고도 에이전트를 유도하여 자신의 목표를 위해 해당 자원을 사용하도록 만드는 에이전트 자원 하이재킹(resource hijacking)을 최초로 규명하고 체계적으로 연구합니다. 본 연구는 6가지 범주의 고가치 자원을 다루는 실행 가능한 벤치마크이자 자동화된 사례 생성 파이프라인인 ResourceHijackBench를 소개합니다. 이는 300개의 공격 시나리오와 900개의 공격 프롬프트를 포함하며, 각 케이스는 실제 자원 사용을 기록하는 격리된 로컬 환경에서 실행됩니다. 자원 하이재킹은 4개의 모델 백엔드 전반에서 평균 공격 성공률(ASR) 70.0%에서 89.6%를 기록하며 여전히 유효함을 보였고, OpenClaw에서 평균 ASR 84.1%, Codex에서 72.3%를 기록하며 2개의 에이전트 하네스 전반에서도 나타났습니다. 쌍체 비교에서 자원 하이재킹은 4개 모델 백엔드 전반에서 직접적인 자원 획득보다 62.4에서 84.0퍼센트포인트 더 높은 ASR을 달성했습니다. 실제 환경에서의 실험 또한 자원 하이재킹의 실질적인 유효성을 입증합니다. 저자들이 평가한 세 가지 기존 방어 기법 중 가장 낮은 평균 ASR조차 여전히 55.1%에 달했습니다. 나아가 저자들은 모델 기반 자원 사용 추출과 신뢰할 수 있는 요청자 신원 메타데이터 기반의 결정론적 정책 적용을 결합한 실행 전 자원 인가 방어 기법인 ResGate를 제안하며, 이를 통해 OpenClaw에서의 평균 ASR을 23.6%로 낮췄습니다. 이러한 결과는 직접적인 접근을 방지하는 것만으로는 공격자를 대신하여 에이전트가 여전히 사용할 수 있는 자원을 보호하기에 충분하지 않으며, 명시적인 자원 인가가 이 위험을 줄이는 데 도움이 될 수 있음을 보여줍니다.
AI agents extend conventional large language model (LLM) applications by integrating language understanding with task execution, external tool use, and memory mechanisms. While memory allows agents to retain prior interactions and provide more personalized and context-aware responses, it also introduces a new vulnerability: information stored in memory can influence future outputs even when the current query is clean. In this paper, we investigate memory manipulation in LLM-based agents for multiple-choice question answering. We first design and implement an LLM-based AI agent with an external memory component that stores and retrieves task-relevant information. We then introduce basic memory manipulation scenarios in which misleading or corrupted memories are inserted into the agent before it answers multiple-choice questions. Using a controlled experimental setup, we compare the agent's performance before and after memory manipulation and measure changes in answer accuracy, attack success rate, and selection of manipulated options. Our results show that even simple memory manipulations can noticeably affect the agent's final answers, causing it to select incorrect options despite receiving clean and well-formed questions.