에이전틱 AI 시스템에 대한 모델 유도 자동화 공격에 맞선 방어적 오도 분석
Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems
에이전틱 AI(Agentic AI) 시스템은 지시문 해석, 외부 데이터 처리, 도구 호출, 다른 에이전트와의 조율을 위해 언어 모델 컴포넌트에 점점 더 많이 의존하고 있습니다. 이러한 기능은 특히 공격자가 탐침(probing), 프롬프트 정제, 응답 평가를 확장하기 위해 모델 유도 자동화를 도입함에 따라 프롬프트 주입 및 탈옥(jailbreak) 공격의 파급력을 더욱 키웁니다. 본 연구는 대상 시스템, 방어 메커니즘, 공격자의 자동화된 판정자(judge)에 대한 확률 모델을 통해 공격-방어 환경을 분석합니다. 분석에 따르면, 예측 가능한 거절 반응이 자동화된 탐색에 유용한 피드백을 제공하기 때문에 기존의 '탐지 및 차단(detect-and-block)' 방어는 질의 예산(query budget)이 증가함에 따라 공격자 성공률(ASR)이 1에 수렴하도록 허용할 수 있습니다. 이에 본 연구에서는 악의적인 상호작용이 감지되었을 때 공격자의 판정자가 위양성(false-positive) 오류를 일으키도록 설계된 통제된 비작동 응답을 제공하는 '탐지 및 오도(detect-and-misdirect)' 전략을 살펴봅니다. 이 전략은 공격자가 선택한 후보의 양성 예측도(PPV)를 낮추고 유계된(bounded) 점근적 ASR을 유도합니다. 본 연구는 자동화된 탈옥 환경에서 예측 가능한 거절 텍스트를 안전하지만 전략적으로 오도하는 응답으로 대체하도록 설계된 경량 대화형 오도 기법인 CMPE(Contextual Misdirection via Progressive Engagement)를 통해 이 전략의 개념 증명 구현을 평가합니다. 탈옥 벤치마크에서 CMPE는 추정된 ASR 상한을 최대 2자릿수(orders of magnitude)까지 낮추었으며, PAIR, GPTFuzz, AutoDAN-Turbo를 사용한 엔드투엔드 실험에서 검증된 공격 성공을 거의 제거했습니다.