arXiv:2606.20470v4 cs.CR

에이전틱 AI 시스템에 대한 모델 유도 자동화 공격에 맞선 방어적 오도 분석

Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems

Reza Soosahabi, Vivek Namsani

제출 2026-06-18

저자 비고

arXiv Comments

Accepted to the 42nd IEEE Annual Computer Security Applications Conference (ACSAC 2026). Final Edits (camera-ready). Keywords: LLM security, Agentic AI security, Jailbreak attacks, Prompt injection, Cyber deception

한국어 초록

에이전틱 AI(Agentic AI) 시스템은 지시문 해석, 외부 데이터 처리, 도구 호출, 다른 에이전트와의 조율을 위해 언어 모델 컴포넌트에 점점 더 많이 의존하고 있습니다. 이러한 기능은 특히 공격자가 탐침(probing), 프롬프트 정제, 응답 평가를 확장하기 위해 모델 유도 자동화를 도입함에 따라 프롬프트 주입 및 탈옥(jailbreak) 공격의 파급력을 더욱 키웁니다. 본 연구는 대상 시스템, 방어 메커니즘, 공격자의 자동화된 판정자(judge)에 대한 확률 모델을 통해 공격-방어 환경을 분석합니다. 분석에 따르면, 예측 가능한 거절 반응이 자동화된 탐색에 유용한 피드백을 제공하기 때문에 기존의 '탐지 및 차단(detect-and-block)' 방어는 질의 예산(query budget)이 증가함에 따라 공격자 성공률(ASR)이 1에 수렴하도록 허용할 수 있습니다. 이에 본 연구에서는 악의적인 상호작용이 감지되었을 때 공격자의 판정자가 위양성(false-positive) 오류를 일으키도록 설계된 통제된 비작동 응답을 제공하는 '탐지 및 오도(detect-and-misdirect)' 전략을 살펴봅니다. 이 전략은 공격자가 선택한 후보의 양성 예측도(PPV)를 낮추고 유계된(bounded) 점근적 ASR을 유도합니다. 본 연구는 자동화된 탈옥 환경에서 예측 가능한 거절 텍스트를 안전하지만 전략적으로 오도하는 응답으로 대체하도록 설계된 경량 대화형 오도 기법인 CMPE(Contextual Misdirection via Progressive Engagement)를 통해 이 전략의 개념 증명 구현을 평가합니다. 탈옥 벤치마크에서 CMPE는 추정된 ASR 상한을 최대 2자릿수(orders of magnitude)까지 낮추었으며, PAIR, GPTFuzz, AutoDAN-Turbo를 사용한 엔드투엔드 실험에서 검증된 공격 성공을 거의 제거했습니다.

원문 초록

Agentic AI systems increasingly rely on language-model components to interpret instructions, process external data, invoke tools, and coordinate with other agents. These capabilities make prompt-injection and jailbreak attacks more consequential, especially as attackers adopt model-guided automation to scale probing, prompt refinement, and response evaluation. This work analyzes the resulting attack-defense setting through a probabilistic model of a target system, its defense mechanism, and the attacker's automated judge. Our analysis shows that conventional detect-and-block defenses can allow attacker success rate (ASR) to approach one as the query budget grows, since predictable refusals provide useful feedback to automated search. We then examine detect-and-misdirect, where detected malicious interactions receive controlled, non-operational responses designed to induce false-positive errors in the attacker's judge. This strategy reduces the positive predictive value of attacker-selected candidates and yields a bounded asymptotic ASR. We evaluate a proof-of-concept realization of this strategy through Contextual Misdirection via Progressive Engagement (CMPE), a lightweight conversational misdirection method designed to replace predictable refusal text with safe but strategically misleading responses in automated jailbreak settings. On jailbreak benchmarks, CMPE reduces estimated ASR upper bounds by up to two orders of magnitude and nearly eliminates verified attack success in end-to-end experiments with PAIR, GPTFuzz, and AutoDAN-Turbo.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20470v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02432v2cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Large Language Model

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2610.10625v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, jailbreak attack

한 루프에서는 안전하고 다른 루프에서는 위험하다: 루프형 언어 모델의 순환 깊이 전반에 걸친 안전성 정렬

Safe at One Loop, Risky at Another: Aligning Safety Across Recurrent Depths in Looped Language Models

루프형 언어 모델(Looped Language Model, LoopLM)은 순환 단계 전반에서 공유 매개변수를 반복적으로 사용하여 모델 역량을 확장하는 매개변수 효율적인 접근법을 제공합니다. 각 순환 깊이(recurrent depth)를 독립적으로 판독할 수 있기 때문에, 단일 LoopLM은 추론 깊이에 걸쳐 더 넓은 출력 공간을 드러내며, 이는 순환 연산 전반에서 안전성이 유지되는지에 대한 중요한 질문을 제기합니다. 이전 평가에서는 더 깊은 순환이 유해한 쿼리에 대한 안전성을 향상시킬 수 있음을 시사하지만, 탈옥(jailbreak) 공격에 대한 강건성은 여전히 불분명합니다. 이에 따라 본 연구에서는 서로 다른 순환 깊이를 겨냥한 탈옥 공격 하에서 LoopLM에 대한 포괄적인 안전성 평가를 수행합니다. 연구 결과, 더 깊은 추론 깊이에서 공격 성공률이 증가할 수 있으며, 동일한 쿼리가 깊이에 따라 서로 다른 안전성 동작을 유발할 수 있고, 특정 깊이를 대상으로 구성된 공격이 다른 깊이로 전이될 수 있음을 확인했습니다. 더욱이 지도 미세조정(SFT)과 선호도 정렬(preference alignment)만으로는 이러한 안전성 격차를 해소하지 못하며, 이는 LoopLM에 맞게 설계된 정렬 기법의 필요성을 시사합니다. 본 연구는 공유된 순환 계층에 대한 경량 깊이별 제어, 선택적 상태 브리징(state bridging), 순환 깊이 전반에 걸친 공동 안전성 감독을 결합한 SafeBridge를 제안합니다. 다양한 모델 규모, 다수의 공격 방식, 안전성 벤치마크 전반에 걸쳐 SafeBridge는 동일 깊이 및 교차 깊이 공격 모두에서 공격 성공률을 대폭 감소시킵니다. 또한 기존 바닐라 모델 대비 전반적인 유용성을 개선하는 동시에 유사한 수준의 과도한 거부(over-refusal) 동작을 유지합니다. 본 결과는 LoopLM의 안전성을 단일 순환 깊이만으로 추론할 수 없음을 보여주며, 순환 연산 전반에 걸친 안전성 정렬의 필요성을 강조합니다. 본 논문의 코드와 모델 체크포인트는 게재 승인 시 공개될 예정입니다.

arXiv:2610.10742v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Large Language Model

BRANCH: 다중 스캐너 AI 가드레일 우회 기법

BRANCH: Bypassing Multi-Scanner AI Guardrails

AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.

arXiv:2610.11005v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, Large Language Model

서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법

How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense

안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.

arXiv:2610.11030v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Large Language Model

NOMOS: 문서화된 정책을 LLM 에이전트를 위한 정적으로 검증된 도구 호출 게이트로 컴파일하기

NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 집행하도록 배포된 정책을 종종 인지하지 못하는 사이에 위반합니다. 기존의 방어 방식은 수작업으로 규칙을 작성하거나, 행동마다 LLM 검증기(verifier)에 질의하거나, 무거운 정형 검증 체계를 통해 정책을 컴파일합니다. 그러나 단순한 컴파일은 실패합니다. 즉, 추출된 규칙이 자체 사전 조건을 충족하는 도구를 차단하거나 도구에 없는 인자를 읽으려 합니다. 4단계(four-pass) 컴파일러인 NOMOS는 자연어 정책을 결정론적 도구 호출 게이트로 변환합니다. 증명기(prover), 솔버(solver), LLM 없이 도구 스키마 수준의 검사만으로 수행하는 정적 검증을 통해 후보 규칙의 37%(항공사) 및 13%(소매)를 수정하거나 기각하며, 이러한 검증이 없으면 배포된 규칙의 대부분이 동작하지 않습니다. 방어되지 않은 트랜스크립트(transcript)에 컴파일된 규칙을 재생(replay)함으로써 정당한 작업을 거부하는 바인딩을 감지합니다(한 개발 바인딩은 태스크를 통과하는 호출의 95.9%를 거부했습니다). 반면 평가 바인딩은 하나도 감지되지 않았습니다. $τ^2$-bench에서 해당 게이트는 상태 변경 호출 중 기준 인코딩 조항의 위반율을 66.3%에서 2.6%(항공사), 30.8%에서 6.9%(소매)로 줄였으며, $2 \le k \le 4$에 대해 항공사 태스크 성공률을 크게 높였습니다. 26B 온프레미스 컴파일은 수작업으로 작성되었거나 프론티어 모델로 컴파일된 규칙과 비교해 유의미하게 뒤처지지 않았습니다. AgentDojo의 기본 제공 방어와 달리, 9개 공격 패밀리가 3개의 구조적 규칙으로 축약되는 뱅킹 도메인에서 공격 성공률(ASR) 0%를 달성했습니다. 다른 세 가지 스위트에서 ASR은 최대 3.6%였는데, 이는 제어할 도구 호출이 없는 목표와 해당 조항보다 약한 바인딩으로 인해 허용된 한 건의 쓰기 작업에서 기인한 것입니다. 두 번째 에이전트 모델(model)인 Llama-3.3-70B에서도 두 벤치마크(benchmark) 모두에서 동일한 효과가 재현되었습니다. 결정은 LLM 호출 없이 마이크로초 단위로 이루어지며, 도메인에 따른 정상 유용성(benign utility) 비용이 발생합니다. 컴파일은 오픈 가중치(weight) gemma-4-26B를 기반으로 온프레미스에서 실행됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.