The emergence of writable, cross-session persistent memory in LLM agents introduces a qualitatively different threat landscape from conventional input-centric security concerns, characterized by three properties: persistence, statefulness, and propagation. To systematically characterize this landscape, we propose a Memory Lifecycle Framework that organizes attacks, defenses, and their cross-phase dependencies along two axes: six lifecycle phases (Write, Store, Retrieve, Execute, Share & Propagate, Forget & Rollback) and four security objectives (Integrity, Confidentiality, Availability, Governance). This analysis in turn exposes the need for explicit security requirements at the system level, motivating Verifiable Memory Governance (VMG), a framework of five architectural primitives for specifying and evaluating auditable, recoverable control over memory state within declared system and threat-model boundaries. Our analysis motivates integrating provenance, versioning, and policy-aware retention with retrieval and execution defenses to support auditable prevention, containment, and recovery across the lifecycle.
LLM 에이전트용 메모리 포이즈닝(memory-poisoning) 방어는 일반적으로 공격을 막는 능력으로 평가된다. 그러나 이들이 처리하는 트래픽은 적대적(adversarial)인 경우가 드물다. 방어를 도입하는 비용은 매 상호작용마다 지불되지만, 그 이익은 전체 중 극히 일부의 경우에만 나타난다. 우리는 메모리 백엔드, 검색(retrieval) 과정, 판정(judge)을 조건마다 동일하게 유지하고 방어 방식만 바꾸는 측정 설정을 마련했다. 각 조건을 다섯 개의 대화에 걸쳐 세 번씩 시험하여, temperature zero에서도 여전히 유의한 파이프라인 실행에 내재된 잡음과 방어의 실제 효과를 구분했다. 완전히 양성(benign) 트래픽 위에서 세 가지 쓰기 시점(write-time) 방어(입력 정화, 출처(provenance) 검증, LLM 기반 이상 탐지)와 하나의 읽기 시점(read-time) 방어(재순위화(reranking))를 시험한 결과, 쓰기 시점 방어들은 우리가 분별할 수 있는 유틸리티 비용을 보이지 않았으며, 95% 신뢰구간은 대략 ±4.5점 범위에 있고 0을 포함한다. 재순위화기(reranker)는 다르다. 핵심 정확도를 4.4점 낮추며(95% CI [-9.0, -0.05], bootstrap; McNemar p=0.064), 이 결과는 재현에도 견디지만 우리 해상도의 경계에 있다. 더 분명한 비용은 통계적이기보다 기계적이다. 공격이 없는 대화에서 재순위화기는 판정된 항목의 33.6%에서 정당한 메모리를 격리(quarantine)하며, 단일 대화에서 최대 106건의 거짓 격리에 이르고, 2.7%의 토큰 오버헤드가 있다. 네 가지 방어를 모두 겹쳐도 이 비용이 누적되지는 않는다. 결합 조건의 정확도 손실은 더 작고 신뢰구간이 0을 포함하여, 쓰기 시점 방어가 재순위화기가 버리는 것을 부분적으로 상쇄할 수 있음을 시사한다. LLM 사용 여부가 아니라 방어가 파이프라인을 어디서 가로채는지가 양성 케이스에서의 대가를 결정하는 것으로 보인다.
우리는 신념 기반 메모리가 실제로 대규모 언어 모델(LLM) 에이전트를 언제 개선하는지 조사한다. 우리의 수단은 Nous로, 각 엔티티-속성 쌍을 범주형 확률 분포로 표현하고 닫힌형(closed-form) 베이지안 추론으로 갱신하는 장기 메모리 아키텍처이지만, 정보 이론적 놀람(surprise)이 신념 수정을 이끌고 엔트로피 기반 망각이 적용된다. LoCoMo 벤치마크에서의 통제된 ablation은, 기존 대화형 메모리 벤치마크가 모순되거나 신뢰도가 다른 증거를 거의 포함하지 않기 때문에, 베이지안 신념 갱신만으로는 단순한 last-write-wins 대비 이점이 거의 없음을 보여준다. 이어서 우리는 인식론적(epistemic) 언어로 관측별 신뢰도를 추정하는 신뢰도 조건부 갱신을 도입하고, 통제된 모순 벤치마크에서 관측의 신뢰성이 다를 때 신념 갱신이 last-write-wins 및 원시 메모리 검색(raw-memory retrieval)을 크게 능가함을 보인다. 내용에서 파생된 신뢰도는 그 자체로 조작에 취약하기 때문에, 우리는 추가로 출처 상한(provenance-capped) 신념 갱신을 제안하며, 여기서는 신뢰가 텍스트적 확신(confidence)이 아니라 출처(provenance)에 의해 상한이 정해진다. 통제된 메모리 중독(memory-poisoning) 실험에서, 이 접근법은 대량(volumetric) 중독 공격에 저항하면서 출처 인식(provenance-aware) 메모리의 유틸리티 비용과 구현 요건을 드러낸다. 마지막으로, 동일한 출력에 대해 엄격한 토큰-F1과 LLM-as-judge 평가 사이의 27.5점 차이를 정량화하여, 장기 메모리 벤치마크에 대한 중요한 재현성 우려를 강조한다. 우리의 결과는 확률적 신념 기반 메모리가 기존의 대화형 회상만을 요구하는 환경보다, 상충하고 신뢰도가 서로 다른 증거에 대한 추론이 필요한 환경에서 가장 유익함을 시사한다.
지속적 외부 메모리는 에이전트 연속성을 향상시키지만 지속적인 보안 취약점을 도입한다. 적대적 콘텐츠가 표준 상호작용 채널을 통해 주입되어 턴에 걸쳐 유지되고, 나중에 하류 동작을 왜곡할 수 있다. 이 과제를 해결하기 위해, 우리는 4가지 공격 유형, 3가지 주입 채널, 3가지 대표적 메모리 기질에 걸친 1227개의 수동 검증 사례를 포함하고, 7개의 오픈 가중치 및 3개의 클로즈드 가중치 모델 계열에서 평가된 포괄적인 벤치마크 및 분석 프레임워크인 MemPoison을 제안한다. 우리는 3단계 분류체계를 도입한다: (L1) 직접 단일 레코드 손상, (L2) 구성적 다중 레코드 손상, (L3) 컨텍스트 트리거 잠재 손상. 우리의 평가는 뚜렷한 방어 경계를 드러낸다. 일관성 검사와 같은 기준선 쓰기 시점 방어는 직접적인 L1 공격을 상당히 억제하지만, L2 및 L3 공격을 신뢰성 있게 억제하는 데는 실패한다. 기계론적 영향 분해(MID)를 통해, 우리는 쓰기 시점 방어의 구조적 사각지대를 입증하는데, 이는 표면상 무해해 보이는 레코드를 허용하여 나중에 결합 검색 구성이나 트리거 조건 활성화를 통해 유해해진다. 우리의 발견은 정적 필터링에서 적응적이고 컨텍스트에 민감한 메모리 방어 전략으로의 전환을 주장한다.
영구 메모리를 사용하는 RAG 에이전트 시스템에서 발생하는 다중 세션 메모리 중독(MSMP) 공격을 방어하기 위해, 서명된 메모리와 평활화된 검색(SMSR) 방법을 제안한다. HMAC-SHA256 출처 증명과 무작위 메모리 소거를 통해 인증된 강건성을 제공하며, 서명되지 않은 공격을 완전히 차단하고 인증된 공격의 성공률을 크게 낮춘다.