sparkverse.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.19660v2cs.CR

RAG 기반 챗봇 내 프롬프트 인젝션 방어를 위한 계층형 보안 프레임워크

A Layered Security Framework Against Prompt Injection in RAG-Based Chatbots

프롬프트 인젝션은 OWASP Top 10 for LLM Applications에 의해 대규모 언어 모델(LLM) 배포 시 가장 치명적인 취약점으로 꼽혔으나, 기존 방어책은 파이프라인의 개별 단계에서만 작동하여 여전히 불완전합니다. 입력 필터는 검색된 문서를 검사할 수 없으며, 출력 모니터는 악의적인 페이로드가 모델에 전달되는 것을 방지할 수 없습니다. 결과적으로, 검색-증강 생성(RAG) 챗봇은 간접 인젝션에 여전히 취약하며, 이는 중독된(poisoned) 지식 베이스 문서가 해당 문서를 검색하는 쿼리를 사용하는 모든 사용자에게 피해를 입히는 상황을 의미합니다. 본 연구에서는 추론(inference) 파이프라인 전반에 걸쳐 직접 및 간접 프롬프트 인젝션을 차단하는 3계층(layer) 프레임워크를 제안합니다. 1계층은 규칙 기반 패턴 라이브러리와 파인튜닝된(fine-tuned) 의미적 이상 분류기를 사용하여 사용자 입력을 검사합니다. 2계층은 컨텍스트 조립 과정에서 출처 기반 명령어 계층 구조를 적용하여, 검색된 콘텐츠가 운영자 정책을 무시하고 우선시되는 것을 방지합니다. 3계층은 전달 전에 정책 규칙 엔진과 의미적 변이(semantic drift) 탐지기를 사용하여 모델 출력을 감사합니다. 지속적인 감사 루프는 구조화된 로그를 집계하고, 분류기가 새로운 공격 패턴에 적응하도록 재학습(retraining)을 지원합니다. 이 프레임워크는 모델에 독립적이며, 기본 LLM을 수정하지 않고 미들웨어로 배포할 수 있습니다. GPT-4o, Llama 3, Mistral 7B에 걸친 5,080개 샘플에 대한 평가 결과, 이 프레임워크는 공격 성공률(ASR)을 71.4%에서 11.3%로 낮추는 것으로 나타났습니다. 이는 최상의 단일 계층 기준선(baseline)보다 27.3%p, 공개된 가드레일 시스템보다 23.8%p 더 우수한 성능을 보이며, 4.8%의 오탐율과 61.2ms의 중간 지연 시간 오버헤드를 유지했습니다. 제거 연구(ablation studies)를 통해 세 계층 모두 상호 보완적인 보호 기능을 제공하며, 결합된 효과가 개별 기여의 합보다 크다는 것이 확인되었습니다.