구별하도록 유도하기: 실제 환경에서 악의적 입력 탐지 프로브 일반화하기
Prompted to Discriminate: Generalizing Malicious-Input Probes in the Wild
한국어 초록
대규모 언어 모델(LLM) 에이전트는 프롬프트 주입(prompt injection), 탈옥(jailbreak), 안전하지 않은 요청에 대응하는 런타임 모니터로서 활성화 프로브(activation probe)에 점점 더 많이 의존하고 있으며, 에이전트가 행동을 취하기 전에 유해한 입력을 감지하기 위해 모델 자체의 은닉 상태를 읽어냅니다. LLM-as-a-judge 프롬프팅에서 착안하여 점점 더 널리 쓰이는 저비용 접근법은 사용자 턴 뒤에 짧은 분류(classification) 지시문을 덧붙이고 해당 지점에서 프로브를 읽어 판별력을 높이는 방식입니다. 즉, 이 지시문은 모델이 들어오는 요청을 하나의 클래스로 표현하도록 요구하여 프로브가 분리해야 할 신호를 집중시키며, 이때 추가 서빙 비용은 거의 들지 않습니다. 그러나 이러한 접미사(suffix)의 문구가 실제로 중요한지, 그리고 배포된 모니터가 직면하게 되는 상황인 학습(training) 중 한 번도 보지 못한 공격 유형에 대해서도 실제 환경에서 그 이점이 유지되는지는 명확하지 않습니다. 본 연구에서는 13개 안전성(safety) 벤치마크(탈옥, 주입, 일반 대화)와 세 가지 오픈 가중치(open-weight) 모델 제품군(Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B)을 대상으로 엄격한 LODO(leave-one-dataset-out) 평가를 수행하여 사용자 뒤에 붙는 접미사들을 체계적으로 통제하며 테스트했습니다. 단일 위치 프로브에서 분류 접미사는 접미사가 없을 때보다 분포 외(out-of-distribution) 탐지 성능을 일관되게 향상시켰습니다(최대 약 4 AUC 포인트). 그러나 어떤 접미사를 사용하는지가 중요합니다. 내용이 없는 라벨로라도 입력을 분류하도록 모델에 프롬프트를 제공하는 방식이 확실한 우위를 보인 반면, 주제를 벗어나거나 단순히 주의만 환기하는 접미사는 거의 도움이 되지 않았습니다. 이러한 이득은 명시된 기준이 아니라 분류 형식 자체에서 비롯됩니다. 내용이 없는 무의미한 접미사도 실제 악성/정상 분류 접미사와 대등한 성능을 보였으며, 명시적 기준은 엄격한 임계값에서만 정밀도(precision)를 더할 뿐이었습니다. 이는 단일 위치 읽기의 특이 결과가 아닙니다. 이 이점은 프로덕션 환경에서 사용되는 다중 위치 풀링(pooling) 프로브(어텐션, multi-max, MLP)로도 이어졌으나, 여기서 가장 우수한 성능을 내는 접미사는 판독(readout) 방식에 따라 달라졌습니다. KV-캐시 포크를 통해 서빙할 경우 이는 모든 활성화 프로브 모니터에 손쉽게 대체 적용할 수 있는 저비용 방식이지만 무조건적인 해결책은 아닙니다. 어떤 접미사가 얼마만큼 도움이 되는지는 모델과 판독 방식에 따라 달라집니다.
원문 초록
LLM agents increasingly rely on activation probes as runtime monitors for prompt injection, jailbreaks, and unsafe requests, reading the model's own hidden state to catch a harmful input before the agent acts on it. A cheap, increasingly common move, borrowed from LLM-as-judge prompting, is to append a short classification instruction after the user's turn and read the probe at that point, to sharpen it: the instruction asks the model to represent the incoming request as a class, concentrating the signal the probe must separate, at negligible serving cost. But does the wording of that suffix matter, and does its benefit hold in the wild, on attack types the probe never saw in training, the regime a deployed monitor faces? We test this with a controlled ladder of post-user suffixes under strict leave-one-dataset-out (LODO) evaluation across 13 safety benchmarks (jailbreak, injection, and benign chat) and three open-weight model families (Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B). On a single-position probe, a classification suffix consistently improves out-of-distribution detection over no suffix (up to ~4 AUC points); yet which suffix matters: prompting the model to classify the input, even into content-free labels, reliably wins; an off-topic or merely-attentive suffix helps little. The gain comes from the classification format, not the named criterion: a content-free suffix matches the real malicious/benign one, with the criterion adding precision only at strict thresholds. This is not an artifact of the single-position read: the benefit carries to the multi-position pooling probes used in production (attention, multi-max, MLP), though the best-performing suffix there is readout-dependent. Served through a KV-cache fork, it is a cheap drop-in for any activation-probe monitor, though not an automatic win: which suffix helps, and by how much, depends on the model and the readout.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Pretext: AI 에이전트 악성 스킬 탐지 프레임워크 무력화
Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents
스킬은 컨텍스트에 인스트럭션과 정보를 주입하여 에이전트(agent)의 기능을 확장하며, OpenClaw 및 Claude Code와 같은 에이전트에서 널리 활용되고 있습니다. 선행 연구에 따르면 서드파티 마켓플레이스에는 공격자가 피해자의 에이전트에 직접적인 영향력을 행사할 수 있도록 하는 악성 스킬이 호스팅되고 있습니다. 이에 대응해 등장한 방어 기법은 NVIDIA의 SkillSpector와 같이 결정론적 정적 검사와 대규모 언어 모델(LLM) 기반 시맨틱 판별기를 결합하여 설치 전에 스킬을 스캔합니다. 본 논문에서는 탐지기를 파악하고 있는 공격자에게 이러한 방어 기법이 무력화됨을 보여줍니다. 화이트박스 LLM 공격자인 Pretext는 정상적인 작업을 수행하고 페이로드를 전달하면서도 탐지를 회피하는 스킬을 반복적으로 생성합니다. 즉, 페이로드를 코드에서 자연어로 이전하여 정적 분석을 무력화하고, 이를 스킬의 정당한 목적으로 위장하며 인스트럭션을 여러 파일에 걸쳐 분할함으로써 LLM 단계의 차단 임계값 미만으로 유지합니다. 3개의 오픈소스 모델 전반에 걸쳐 Pretext는 고정된 탐지기와 상호 적응형(co-adaptive) 탐지기에 대해 각각 최대 97% 및 77%의 회피율을 달성하여, 현재 스킬 스캐너의 중대한 결함을 드러냅니다.
입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선
Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations
프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.
BRANCH: 다중 스캐너 AI 가드레일 우회 기법
BRANCH: Bypassing Multi-Scanner AI Guardrails
AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.
수축 제약 상태 공간 모델을 통한 유계 도달 가능성 및 탈옥 탐지
Bounded Reachability & Jailbreak Detection via Contraction-Constrained State Space Models
안전 헤드(safety head)는 생성 전에 유해한 입력을 감지하기 위해 사전학습(pre-training)된 언어 모델에 부착되는 경량 분류기입니다. 이들의 실증적인 탐지 성능은 연구되었으나, 정형화된 강건성(robustness) 특성은 여전히 거의 탐구되지 않은 상태입니다. 본 연구에서는 상태 공간 모델(State Space Model, SSM) 기반 안전 헤드가 유계 임베딩(embedding) 공간 섭동(perturbation) 내의 모든 입력에 대해 동일한 예측을 생성함을 언제 보증할 수 있는지 묻습니다. 우리는 그 답이 단 하나의 조건에 달려 있음을 증명합니다. 즉, 상태 전이 행렬의 $l_\infty$ 노름이 $\norm{A}_\infty<1$(수축 조건, contraction condition)을 만족해야 하며, 이는 선형 시불변 분류기에 대한 정확한 구간 경계 전파(interval bound propagation, IBP) 보증을 가능하게 합니다. 수축 조건이 성립할 때 도달 가능한 출력 구간은 유계의 정상 상태(steady-state) 너비를 가지며 예제들이 강건하게 분류된 것으로 보증될 수 있습니다. 반면 조건이 성립하지 않으면 구간이 시퀀스 길이에 따라 지수적으로 증가하여 실용적인 섭동 반경에서는 보증이 불가능해집니다. 우리는 힌지 페널티(hinge penalty)로 수축을 강제하며, 유해 댓글 데이터에서 보증 비율이 41%에서 59%로 향상되고 이론과 일치하게 $\norm{A}_\infty=1$에서 뚜렷한 실증적 상전이(phase transition)가 나타남을 보입니다. JailbreakBench의 탈옥(jailbreak) 탐지에 수축 정규화된 S4 헤드를 적용하여, AdvBench(탐지율 DR=0.994) 및 HarmBench(DR=0.988)로의 제로샷(zero-shot) 전이를 달성했습니다. 평균 풀링(mean-pooled)된 Mamba-130M 임베딩에 대한 로지스틱 회귀는 모든 탐지 지표에서 S4 헤드와 대등하거나 이를 능가하여, 유해한 의도가 임베딩 공간에서 이미 선형적으로 분리 가능함을 확인해 줍니다. S4 안전 헤드의 기여는 더 뛰어난 구별 능력이 아니라, 프로브(probe) 기반 접근법에서는 제공할 수 없는 정형 보증(formal certification)을 제공한다는 점입니다.
분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기
Securing Computer-Use Agents Against Branch Steering Attacks
현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.
Sapien: 자율 AI 에이전트를 위한 상태 기반 정책 엔진
Sapien: A Stateful Policy Engine for Autonomous AI Agents
문맥 기반 보안 방어(contextual security defense)는 작업별 정책을 합성하고 이를 에이전트의 도구 호출에 적용함으로써 AI 에이전트(agent)가 비정상적인 행동을 하지 못하도록 방지합니다. 그러나 다단계 작업에서는 어떤 행동이 유효한지가 에이전트가 이미 수행한 작업과 학습한 내용에 따라 달라지는 경우가 많습니다. 본 논문에서는 상태 기반(stateful) 문맥 정책을 적용하기 위한 정책 엔진인 Sapien을 제시합니다. Sapien 정책은 상태 기반 술어(stateful predicate), 지연 정책 생성(deferred policy generation), 범위 한정 의미론적 검사(scoped semantic check)로 확장된 정규 표현식을 사용하여 허용된 도구 호출 시퀀스를 지정합니다. 실험을 통해 Sapien이 제약 없는 에이전트의 유용성(utility)과 비교했을 때 수 퍼센트 이내의 성능을 유지함을 보입니다. 에이전트가 완전히 탈취되더라도, Sapien의 정책은 AgentDojo에서 공격의 93~95%, Toolathlon에서 62~85%를 차단합니다(장기적 작업(long-horizon tasks)에서 도구 허용 목록 대비 2배 많은 수치).
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
40th Conference on Neural Information Processing Systems (NeurIPS 2026). Workshop: Agents in the Wild: Safety, Security, and Beyond