한국어 초록
검색-증강 생성(RAG)은 외부 지식을 활용하여 대규모 언어 모델(LLM)을 개선하지만, 이러한 접근 경로는 내재된 순수 프롬프트 결함이나 매개변수 모델 결함과는 구별되는 보안 위험을 초래합니다. 본 논문에서는 안전한 RAG를 외부 지식 접근을 보호하는 것으로 규정합니다. 공격, 방어, 보안 평가에 관한 체계적인 검색을 수행하여 135편의 연구를 선별했으며, 이를 공격 표면(Surface, S)과 이에 대응하는 방어 층(Layer, L), 그리고 이를 관통하는 목적(Objective, O) 및 공격 대상 범위(Target scope, T)를 축으로 하는 분류 체계인 SLOT으로 정리했습니다. 이러한 연구들을 외부 지식 접근 파이프라인에 매핑함으로써 세 가지 불일치를 밝혀냅니다: 대상 불일치(T2 공격이 T2 방어 및 평가를 앞섬), 단계 불일치(S1 공격 수가 L1 방어 수를 초과함), 신호 불일치(유창하고 검색 가능하며 말뭉치에 부합하는 S1 공격이 이상치 기반 L2/L3 방어에 도전과제가 됨). 마지막으로 더욱 현실적인 목표, 공격 표면을 완전하게 포괄하는 방어 스택, 표준화된 평가, 기밀성, 그리고 멀티모달 및 에이전트 시스템을 위한 향후 방향을 논의하며, 선별 과정, 선정된 논문 메타데이터, 기계 판독 가능한 SLOT 레이블을 https://github.com/TreeAI-Lab/Awesome-RAG-Security 에 공개합니다.
원문 초록
Retrieval-augmented generation (RAG) improves large language models (LLMs) with external knowledge, but this access path creates security risks distinct from inherent prompt-only or parametric-model flaws. We frame secure RAG as securing external knowledge access. We conducted a systematic search and curated 135 works on attacks, defenses, and security evaluation, and organized them with SLOT: a taxonomy along the attack Surface (S) and the corresponding defense Layer (L), with cross-cutting axes Objective (O) and attack-target scope (T). Mapping these studies onto an external knowledge-access pipeline, we expose three mismatches: target mismatch (T2 attacks outpace T2 defenses and evaluation), stage mismatch (S1 attacks outnumber L1 defenses), and signal mismatch (fluent, retrievable, corpus-fitting S1 attacks challenge anomaly-based L2/L3 defenses). Finally, we discuss directions for more realistic targets, surface-complete defense stacks, standardized evaluation, confidentiality, and multimodal and agentic systems, and release the screening process, selected-paper metadata, and machine-readable SLOT labels at https://github.com/TreeAI-Lab/Awesome-RAG-Security.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크
TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.
홉 감쇠 영향력: LLM 기반 GraphRAG 파이프라인에서 구조적 보조 색인의 새로운 취약점
Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM
GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.
임베딩 공간 탐색: 멀티모달 RAG로부터의 데이터스토어 추출
Walking the Embedding Space: Datastore Extraction from Multimodal RAG
멀티모달 검색-증강 생성(MRAG)은 멀티모달 대규모 언어 모델(MLLM)의 생성 능력을 관련성 높고 최신의 외부 지식에 그라운딩(grounding)하는 신뢰성 있고 비용 효율적인 기법으로 부상했습니다. 환각(hallucination) 동작 완화와 같은 여러 이점을 제공함에도 불구하고, 개인정보 유출 및 데이터 추출 공격에 대한 취약성을 포함한 새로운 공격 표면 또한 초래합니다. 본 논문에서는 검색된 시각적 아티팩트 자체가 응답이 되는 구성인 \emph{image-returning} MRAG를 대상으로 블랙박스 환경에서 동작하는 적응형 자동 데이터 추출 공격 절차인 $\immrag$를 소개합니다. 각 쿼리는 공격자가 보유한 섀도우(shadow) 이미지와 시스템으로부터 이미 복구된 이미지를 혼합하며, 관련성 가중 재샘플링을 통해 후속 쿼리를 여전히 새로운 검색 결과를 산출하는 임베딩 공간 영역으로 유도합니다. 텍스트 프롬프트 형태로 악의적인 쿼리를 배치하여 모델이 데이터를 유출하도록 유도하는 기존 추출 공격과 달리, $\immrag$는 사용자가 제공하는 입력 이미지 내에 악의적인 지침을 임베딩합니다. 우리는 의료 보조, 문서 중심 도우미, 범용 도구라는 타당하고 뚜렷이 구별되는 세 가지 실제 시나리오에서 $\immrag$를 평가합니다. 실험에는 다양한 CLIP 계열 검색기(retriever)에 대한 공격 효과 분석과 여러 생성기(generator)의 영향 연구가 포함됩니다. 단 2500회 쿼리 실행만으로 로컬 특징(local-feature) 대응 하에 최대 611개의 고유한 방사선 이미지, 566개의 문서 스캔, 416개의 범용 이미지를 재구성하며, 비적응형 기준선(baseline) 대비 최대 $5.6\times$ 더 많은 고유 데이터스토어 항목을 확보합니다. 우리의 결과는 멀티모달 데이터에 맞게 특별히 설계된 안전장치의 시급한 필요성을 보여줍니다.
하이브리드 RAG와 로컬 배포 대규모 언어 모델을 활용한 처리활동기록부(RoPA) 자동 추출
Automated Extraction of Records of Processing Activities (RoPA) Using Hybrid RAG and Locally Deployed Large Language Models
2026년 1월 1일부터 시행되는 베트남 개인정보 보호법(법률 제91/2025/QH15호)과 시행령 제356/2025/ND-CP호는 조직이 처리활동기록부(Records of Processing Activities, RoPA)를 작성하고 유지하도록 요구한다. RoPA를 수작업으로 작성하는 것은 많은 노동력이 필요하며, 클라우드에서 호스팅되는 대규모 언어 모델(LLM)은 데이터 주권 요건과 충돌할 수 있다. 본 논문은 tsvector 기반 어휘 순위화, 밀집 벡터(dense-vector) 검색, 상호 순위 융합(Reciprocal Rank Fusion, RRF), 그리고 로컬에 배포된 LLM을 결합한 하이브리드 검색을 사용하여 RoPA 정보를 자동으로 추출하는 시스템인 RoPA Manager를 제안한다. 또한 32개 조직, 77개 처리 활동, 12개 필드 그룹, 4,338개 참조 값으로 구성된 베트남어 RoPA 벤치마크를 소개한다. 평가는 세 가지 서로 다른 수준에서 보고한다. LLM을 호출하지 않고 교란된 데이터로 테스트한 자동 채점기는 F1 = 0.9493 [0.9436, 0.9548]을 달성했으며, 이는 종단 간 추출 정확도가 아니라 채점기의 견고성을 측정한 것이다. 종단 간 추출은 참조 레이블 대비 50.04-55.25%의 토큰 커버리지를 달성했다. 두 명의 독립적인 전문가가 1,558개의 참조 값(벤치마크의 35.9%)을 검토한 결과 잘못된 값은 발견되지 않았으며, 99.68%의 일치도와 PABAK = 0.9936을 기록했다. 값 수준의 정밀도는 측정하지 않았다. 24GB GPU에서 32개의 쌍체 시나리오에 걸쳐 평가한 결과, 로컬에 배포된 Qwen3.5-27B-GPTQ-Int4는 클라우드 기반 DeepSeek-V4-Flash와 통계적으로 유의한 차이를 보이지 않았으나(DeepSeek 쪽이 0.20 퍼센트 포인트 우세, 95% CI [-0.93, 1.32], p = 0.72), Gemma-4-31B는 유의하게 더 낮은 성능을 보였다(p < 0.01).
비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구
Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study
본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.
DUMA-Bench: LLM 에이전트 보안 평가를 위한 이중 제어 멀티에이전트 벤치마크
DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security
LLM 기반 에이전트는 사용자, 도구, 외부 시스템과 상호작용하는 환경에서 점점 더 많이 운영되고 있다. 그러나 대부분의 보안 평가는 수동적인 사용자와 정적 제어를 가정하여, 실제 에이전트 행동을 형성하는 상호작용적 역학을 무시한다. 우리는 에이전트와 사용자 모두가 공유 환경 상태에 영향을 미칠 수 있는 이중 제어(dual-control) 상호작용 하에서 에이전트 보안을 측정하기 위한 벤치마크 및 평가 프로토콜인 DUMA-Bench를 소개한다. DUMA-Bench는 τ²-bench를 확장하여 RAG 오염, 크로스 에이전트 조작, 안전하지 않은 출력 처리를 포함한 8개의 취약점 클래스를 다루는 적대적 환경을 제공한다. 우리는 5개 모델 패밀리(OpenAI, Anthropic, DeepSeek, Qwen, Z.ai)에 속한 14개 모델을 8개 도메인과 다양한 사용자 행동 체제에 걸쳐 평가한다. 실험 전반에 걸쳐, 이중 제어 상호작용을 도입하면 공격 성공률이 26.9%에서 41.1%로 증가한다. 이러한 결과는 에이전트 보안이 모델만의 속성이 아니라 모델, 사용자, 환경 간의 상호작용에서 발생함을 보여준다. DUMA-Bench는 현실적인 에이전트 배포 환경에서 보안을 연구하기 위해 그동안 부재했던 평가 층을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at EMNLP 2026