CamoDocs: 위장 문서를 이용한 검색-증강 언어 모델 대상 포이즈닝 공격
CamoDocs: A Poisoning Attack Against Retrieval-Augmented Language Models Using Camouflaged Documents
한국어 초록
검색-증augmented generation (RAG)은 외부 문서로 LLM을 보강하지만, 공개되거나 사용자가 편집 가능한 소스는 RAG 시스템을 데이터 포이즈닝(data poisoning)에 노출시킨다. 공격자는 악성 문서를 주입하여 출력을 목표 답변 쪽으로 유도할 수 있다. 기존 포이즈닝 공격은 종종 쿼리 포함(query inclusion)에 의존하여 검색 성능을 높이기 위해 독 문서에 목표 쿼리를 삽입하지만, 이는 어휘적 및 임베딩 공간 아티팩트를 만들어 단순 필터링으로 걸러내기 쉽다. 우리는 CamoDocs를 제안한다. 이는 적대적 문서를 정상 콘텐츠 사이에 위장하여 직접적인 쿼리 포함을 피하는 포이즈닝 공격이다. CamoDocs는 합성된 정상 및 적대적 초안을 청크로 나누고, 정상 청크의 선택된 토큰을 독 문서 임베딩을 분산시키는 dispersion token으로 교체하며, 가독성 저하를 제한하기 위해 coherence filtering을 적용한다. 7개의 RAG 방어 기법, 3개의 오픈 가중치 LLM, 3개의 벤치마크 전반에서 CamoDocs는 단순 쿼리 탐지가 이용하는 쿼리 중복 아티팩트를 피하면서 높은 평균 공격 성공률(ASR)을 달성한다. 독점 모델에 대해서도 효과적이며, GPT-5.4-mini에서 평균 ASR 61.80%, Claude-Haiku-4.5에서 55.09%를 달성한다. 마지막으로, TrustRAG와 같은 삭제 중심 클러스터링 방어는 ASR을 줄일 수 있지만, NeoQA와 같이 검색에 의존하는 벤치마크에서는 유틸리티가 크게 떨어지는 대가를 치를 때만 그렇다는 것을 보인다. 코드는 https://github.com/jaewonalive/CamoDocs 에서 이용할 수 있다.
원문 초록
Retrieval-augmented generation (RAG) augments LLMs with external documents, but public or user-editable sources expose RAG systems to data poisoning: attackers can inject malicious documents to steer outputs toward targeted answers. Existing poisoning attacks often rely on query inclusion, inserting the target query into poisoned documents to improve retrieval; however, this creates lexical and embedding-space artifacts that make them easy to filter. We propose CamoDocs, a poisoning attack that avoids direct query inclusion by camouflaging adversarial documents among benign content. CamoDocs chunks synthesized benign and adversarial drafts, replaces selected tokens in benign chunks with dispersion tokens that spread poisoned-document embeddings, and applies coherence filtering to limit readability degradation. Across seven RAG defenses, three open-weight LLMs, and three benchmarks, CamoDocs achieves strong average ASR while avoiding query-overlap artifacts exploited by simple query detection. It also remains effective against proprietary models, achieving average ASRs of 61.80% on GPT-5.4-mini and 55.09% on Claude-Haiku-4.5. Finally, we show that erasure-heavy clustering defenses such as TrustRAG can reduce ASR, but only with substantial utility drops on retrieval-dependent benchmarks such as NeoQA. Code is available at https://github.com/jaewonalive/CamoDocs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.28389v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.