arXiv:2606.12703v1 cs.CR

SMSR: 지속형 LLM 에이전트 시스템의 런타임 메모리 중독에 대한 인증된 방어

SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems

Tarun Sharma

제출 2026-06-10

한국어 초록

검색-증강 생성(RAG) 에이전트는 사용자 세션에 걸쳐 누적되는 지속형 메모리와 함께 점점 더 많이 운용되고 있다. 이는 새로운 공격 표면을 만들어낸다. 즉, 정상적인 채널만을 통해 상호작용하는 공격자가 모델 가중치나 코드를 건드리지 않고도 교묘하게 조작된 메모리를 주입할 수 있으며, 해당 메모리가 검색되면 이후 사용자에 대한 에이전트의 응답을 유도할 수 있다. 우리는 이를 다중 세션 메모리 중독(Multi-Session Memory Poisoning, MSMP)이라 부르고, 기존의 어떤 방어 기법도 이에 대한 인증된 보장을 제공하지 못함을 보인다. 정적 코퍼스 기반 방어(RobustRAG, ReliabilityRAG)는 고정된 지식 베이스를 가정하며, 휴리스틱 필터는 유창한 기업 스타일의 텍스트에 의해 우회된다. 우리는 이 설정에서 최초로 인증된 강건성 보장을 제공하는 방어 기법인 서명된 메모리와 평활화된 검색(Signed Memory with Smoothed Retrieval, SMSR)을 제안한다. 구성 요소 1은 쓰기 시점에 HMAC-SHA256 출처 증명을 추가하여 서명되지 않은 주입을 차단한다. 구성 요소 2는 질의 시점에 무작위 메모리 소거(randomised memory ablation)와 판정 기반 다수결 투표를 적용하여 인증된 공격자의 영향력을 한정한다. 우리는 출처 정보가 없는 검색 시점 필터는 적응형 주입에 대해 인증된 보장을 제공할 수 없음을 증명하고, 구성 요소 2에 대한 초기하 인증서(hypergeometric certificate)를 도출하며, 일관된 적대적 답변이 수치적 소수임에도 문자열 기반 투표에서는 승리하지만 판정 기반 투표에서는 제거되는 일관된 소수 효과(Consistent Minority Effect)를 공식화한다. 15가지 기업 시나리오(3,150회 반복 실험)에서 구성 요소 1은 모든 서명되지 않은 변형에 대해 공격 성공률을 93~100%에서 0%로 낮춘다. 단일 주입을 가진 인증된 공격자에 대해, 구성 요소 2는 성공률을 8.0%(95% 신뢰구간 [5.8, 10.9], n=450)로 유지하여 인증된 최악의 경우를 하회한다. 에이전트 자체가 사전 삽입 없이 독소를 작성하는 엔드투엔드 질의 전용 공격에서, SMSR은 실제 에이전트 스택 기준으로 성공률을 65.3%에서 5.3%로 낮춘다(n=150, 비중첩 신뢰구간). 정상 질의에 대한 유용성은 구성 요소 1 기준 90%, 결합 기준 85%이다.

원문 초록

Retrieval-augmented generation (RAG) agents increasingly run with persistent memory that accumulates across user sessions. This creates a new attack surface: an adversary interacting only through normal channels can inject crafted memories that, once retrieved, steer the agent's responses for future users, without touching model weights or code. We call this Multi-Session Memory Poisoning (MSMP) and show that no existing defence certifies against it; static-corpus defences (RobustRAG, ReliabilityRAG) assume a fixed knowledge base, and heuristic filters are bypassed by fluent enterprise-style text. We present Signed Memory with Smoothed Retrieval (SMSR), the first defence with a certified robustness bound for this setting. Component 1 adds HMAC-SHA256 provenance at write time, blocking unsigned injection. Component 2 applies randomised memory ablation with verdict-based majority voting at query time, bounding the influence of authenticated adversaries. We prove that no provenance-free retrieval-time filter can certify against adaptive injection, derive a hypergeometric certificate for Component 2, and formalise the Consistent Minority Effect, whereby a consistent adversarial answer wins string-based voting as a numerical minority while verdict-based voting removes it. Across 15 enterprise scenarios (3,150 repeated trials), Component 1 cuts attack success from 93-100% to 0% for all unsigned variants. For an authenticated adversary with a single injection, Component 2 holds success to 8.0% (95% CI [5.8, 10.9], n=450), below the certified worst case. In an end-to-end query-only attack where the agent itself writes the poison rather than it being pre-seeded, SMSR reduces success from 65.3% to 5.3% (n=150, non-overlapping CIs) on a live agent stack. Clean-query utility is 90% (Component 1) and 85% (combined).

요약

영구 메모리를 사용하는 RAG 에이전트 시스템에서 발생하는 다중 세션 메모리 중독(MSMP) 공격을 방어하기 위해, 서명된 메모리와 평활화된 검색(SMSR) 방법을 제안한다. HMAC-SHA256 출처 증명과 무작위 메모리 소거를 통해 인증된 강건성을 제공하며, 서명되지 않은 공격을 완전히 차단하고 인증된 공격의 성공률을 크게 낮춘다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12703v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23838v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, RAG, Retrieval-augmented Generation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.20437v1cs.CL공통 태그 Adversarial Attack, Adversarial Robustness, RAG, Retrieval-augmented Generation

TopoGuard: RAG의 분할 지식(split-knowledge) 공격에 대한 그래프 이론 기반 방어

TopoGuard: Graph Theory Based Defenses Against Split-Knowledge Attacks on RAG

프로덕션 검색-증강 생성(RAG) 시스템은 복잡한 쿼리에 답하기 위해 여러 외부 문서를 집계하는 데 의존한다. 그러나 검색된 문서는 분할 지식(split-knowledge) 공격을 개시하는 데 악용될 수 있는 새로운 위협 표면을 도입한다. 이 공격에서 적대자는 개별적으로는 무해하지만 결합되어 언어 모델에 입력되면 거짓 연관을 만드는 문서를 주입한다. 본 논문은 이러한 새로운 공격이 LlamaGuard와 같은 기존 문서별 필터에는 구조적으로 보이지 않음을 보인다. RAG에서 이 문제를 해결하기 위해, 본 연구는 TopoGuard를 제안한다. TopoGuard는 검색된 문서로부터 의미적 유사도 그래프를 구축하고 악의적인 토폴로지를 가진 컨텍스트를 탐지함으로써 분할 지식 공격을 특별히 표적으로 삼는 그래프 이론 기반 방법군이다. 이론적 분석에 기반하여, TopoGuard 방법군은 노이즈가 있는 입력에서도 효과적이고 견고함이 입증되었다. 두 개의 검색 데이터셋에서 광범위한 실험이 수행되었으며, 여러 기준선 방법과 비교하였다. 구체적으로, HotpotQA 데이터셋에서 TopoGuard-$λ_2$+Entity는 1% FPR에서 LlamaGuard-2-8B보다 21$\times$ 더 많은 공격을 포착한다(재현율 32.6% vs 1.5%). 대규모 언어 모델(LLM)을 사용하는 프로덕션 RAG 탐지 시스템과 비교하면, 제안된 TopoGuard 변형은 sub-millisecond 지연 시간으로 효율적으로 실행되며, 적응형 적대자와 무해한 교차 도메인 쿼리 하에서도 견고함을 유지한다.

arXiv:2610.02373v1cs.CR공통 태그 Adversarial Attack, RAG, Retrieval-augmented Generation

홉 감쇠 영향력: LLM 기반 GraphRAG 파이프라인에서 구조적 보조 색인의 새로운 취약점

Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM

GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.

arXiv:2609.24662v1cs.AI공통 태그 Adversarial Attack, RAG, Retrieval-augmented Generation

DUMA-Bench: LLM 에이전트 보안 평가를 위한 이중 제어 멀티에이전트 벤치마크

DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security

LLM 기반 에이전트는 사용자, 도구, 외부 시스템과 상호작용하는 환경에서 점점 더 많이 운영되고 있다. 그러나 대부분의 보안 평가는 수동적인 사용자와 정적 제어를 가정하여, 실제 에이전트 행동을 형성하는 상호작용적 역학을 무시한다. 우리는 에이전트와 사용자 모두가 공유 환경 상태에 영향을 미칠 수 있는 이중 제어(dual-control) 상호작용 하에서 에이전트 보안을 측정하기 위한 벤치마크 및 평가 프로토콜인 DUMA-Bench를 소개한다. DUMA-Bench는 τ²-bench를 확장하여 RAG 오염, 크로스 에이전트 조작, 안전하지 않은 출력 처리를 포함한 8개의 취약점 클래스를 다루는 적대적 환경을 제공한다. 우리는 5개 모델 패밀리(OpenAI, Anthropic, DeepSeek, Qwen, Z.ai)에 속한 14개 모델을 8개 도메인과 다양한 사용자 행동 체제에 걸쳐 평가한다. 실험 전반에 걸쳐, 이중 제어 상호작용을 도입하면 공격 성공률이 26.9%에서 41.1%로 증가한다. 이러한 결과는 에이전트 보안이 모델만의 속성이 아니라 모델, 사용자, 환경 간의 상호작용에서 발생함을 보여준다. DUMA-Bench는 현실적인 에이전트 배포 환경에서 보안을 연구하기 위해 그동안 부재했던 평가 층을 제공한다.

arXiv:2607.20730v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, RAG

GPE: 제어 가능한 GEO 스타일 포이즈닝 하에서 사실 검증을 위한 견고한 증거 집계 평가

GPE: Evaluating Robust Evidence Aggregation for Fact Verification under Controllable GEO-Style Poisoning

대규모 언어 모델(LLM)은 최신 정보를 검색하기 위해 검색 도구를 점점 더 많이 사용하며, 검색된 문서를 조작할 수 있는 새로운 공격 표면을 도입하고 있다. 이러한 위험은 선택된 콘텐츠가 더 잘 검색되고, 인용되며, 모델에 채택될 가능성을 높일 수 있는 생성형 엔진 최적화(GEO)의 발전에 의해 증폭된다. 기존의 사실 검증 벤치마크와 평가 프레임워크는 GEO 포이즈닝에 대한 견고성을 평가하는 데 필요한 제어 가능한 증거 환경을 제공하지 않는다. 따라서 우리는 다중 도메인 사실 검증 벤치마크와 증거 출처 및 포이즈닝 비율을 제어하는 평가 프레임워크로 구성된 GPE를 제안한다. 다양한 검증 방법과 포이즈닝 공격에 걸친 실험은 GPE가 깨끗한 평가만으로는 관찰할 수 없는 견고성 저하와 효율성 트레이드오프를 드러내며, 적대적 증거 환경 하에서 사실 검증을 평가해야 할 필요성을 확인함을 보여준다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.