arXiv:2605.22001 cs.CR

Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems

제출 2026-05-21

한국어 초록

LLM 에이전트를 보호하기 위해 배포된 인젝션 탐지기는 자신을 오버라이드 지시문으로 밝히는 정적 템플릿 기반 페이로드에 맞춰 보정되어 있습니다. 우리는 체계적인 사각지대를 식별했습니다. 즉, 페이로드가 대상 문서의 도메인 어휘와 권위 구조를 모방하도록 생성될 때, 우리가 도메인 위장 인젝션(domain camouflaged injection)이라고 부르는 이 경우, 표준 탐지기는 이를 탐지하지 못하며, 탐지율은 Llama 3.1 8B에서 93.8%에서 9.7%로, Gemini 2.0 Flash에서 100%에서 55.6%로 떨어집니다. 우리는 이를 위장 탐지 격차(Camouflage Detection Gap, CDG), 즉 정적 페이로드와 위장된 페이로드 간 인젝션 탐지율의 차이로 정식화합니다. 세 개의 도메인과 두 개의 모델 계열에 걸친 45개 작업 전반에서 CDG는 크고 통계적으로 유의했으며(Llama: chi^2 = 38.03, p < 0.001; Gemini: chi^2 = 17.05, p < 0.001), 두 경우 모두 역방향 불일치 쌍은 0개였습니다. 또한 실서비스용 안전성 분류기인 Llama Guard 3를 평가했는데, 이 분류기는 위장 페이로드를 하나도 탐지하지 못했으며(IDRcamouflage = 0.000), 이 사각지대가 퓨샷 기반 탐지기를 넘어 전용 안전성 분류기까지 확장된다는 점을 확인했습니다. 우리는 더 나아가 멀티에이전트 토론 아키텍처가 작은 모델에서 정적 인젝션 공격을 최대 9.9배까지 증폭하는 반면, 더 강한 모델은 집단적으로 이를 저지한다는 점도 보였습니다. 표적화된 탐지기 보강은 부분적인 완화만 제공했으며(Llama에서 10.2% 향상, Gemini에서 78.7% 향상), 약한 모델의 취약성은 우발적이라기보다 아키텍처적임을 시사합니다. 우리의 프레임워크, 태스크 뱅크(task bank), 그리고 페이로드 생성기는 공개되었습니다.

요약

대형 언어 모델(Large Language Model, LLM) 에이전트를 둘러싼 보안 문제에서 가장 어려운 지점은, 공격이 반드시 노골적인 명령형 문장으로 나타나지 않는다는 사실입니다. 주입 탐지기(injection detector)는 대체로 “IGNORE ALL PREVIOUS INSTRUCTIONS”처럼 눈에 띄는 정적 템플릿을 기준으로 학습되고 평가되어 왔지만, 실제 환경에서는 공격자가 대상 문서의 도메인 어휘와 권위 구조를 모방한 문장을 섞어 넣음으로써 훨씬 자연스럽고 설득력 있게 악성 지시를 숨길 수 있습니다. 이러한 domain-camouflaged injection은 단순한 문체 변형이 아니라, 겉보기에는 정상적인 전문가 서술처럼 보이면서도 에이전트의 행동을 교묘하게 유도하는 방식이라는 점에서 기존 방어 체계의 취약점을 드러냅니다. 논문은 이 현상을 Camouflage Detection Gap(CDG)으로 정식화하여, 정적 페이로드와 위장형 페이로드 사이에서 주입 탐지율(injection detection rate, IDR)이 얼마나 벌어지는지를 정량적으로 측정합니다. 45개 과제, 3개 도메인, 2개 모델 계열을 가로지르는 실험에서 CDG는 매우 크고 통계적으로 유의미하게 나타났으며, Llama 3.1 8B와 Gemini 2.0 Flash 모두에서 위장형 공격에 대한 탐지 성능이 정적 공격에 비해 급격히 하락했습니다. 특히 Llama Guard 3 같은 생산용 안전성 분류기조차 camouflage 페이로드를 전혀 잡아내지 못해, 이 문제는 몇몇 few-shot 탐지기의 한계가 아니라 현재 안전 분류 체계 전반에 걸친 구조적 blind spot임을 시사합니다. 이 연구의 방법론적 핵심은 공격을 단순한 텍스트 변형이 아니라, 문서가 속한 도메인의 문장 구조와 인식적 어조를 모사하는 의미론적 위장으로 다루었다는 점에 있습니다. 저자들은 금융, 법률, 일반 질의응답이라는 서로 다른 맥락에서 청정 문서와 악성 목표를 함께 제공하고, 이를 바탕으로 위장형 페이로드를 생성하는 CamouflageGenerator를 구성한 뒤, 의미적 유사도와 권위감이 높은 후보만을 선별하여 평가에 사용했습니다. 또한 단일 에이전트 환경과 다중 에이전트 토론(multi-agent debate) 환경을 모두 실험하여, 탐지 실패가 개별 모델의 문제를 넘어 상호 검증 구조 속에서도 어떻게 확산되는지를 살폈습니다. 그 결과 작은 모델에서는 토론이 오히려 공격을 증폭시키는 반면, 더 강한 모델에서는 집단적 검증이 일정 부분 방어로 작동하는 양상이 확인되어, 다중 에이전트 구조가 능력에 따라 방패이자 증폭기가 될 수 있음을 보여주었습니다. 더 나아가 도메인별 소량 예시를 추가하는 보완 전략은 강한 모델에서는 상당한 개선을 보였지만, 약한 모델에서는 제한적인 효과에 그쳐, 문제의 본질이 단순한 데이터 부족이 아니라 일반화 능력과 아키텍처 설계의 한계에 있음을 강조합니다. 결국 이 논문은 LLM 에이전트 보안에서 “무엇이 공격처럼 보이는가”에만 의존하는 현재의 방어 철학이 얼마나 취약한지를 드러내며, 도메인 문맥 안에 숨은 공격까지 포착할 수 있는 새로운 탐지 기준이 필요하다는 점을 제기합니다. 동시에 위장형 주입이 높은 확신으로 정상 판정을 유도할 수 있다는 사실을 보여 줌으로써, 단순한 임계값 조정이나 불확실성 필터링만으로는 해결이 어렵다는 점도 분명히 합니다. 이러한 결과는 문서 기반 에이전트, 검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템, 협업형 다중 에이전트 환경처럼 실제 배포 맥락이 복잡한 응용에서 특히 중요한 함의를 가지며, 향후에는 탐지기 성능뿐 아니라 구조적 강건성 자체를 재설계하는 방향의 연구가 필요함을 말해 줍니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.