수축 제약 상태 공간 모델을 통한 유계 도달 가능성 및 탈옥 탐지
Bounded Reachability & Jailbreak Detection via Contraction-Constrained State Space Models
한국어 초록
안전 헤드(safety head)는 생성 전에 유해한 입력을 감지하기 위해 사전학습(pre-training)된 언어 모델에 부착되는 경량 분류기입니다. 이들의 실증적인 탐지 성능은 연구되었으나, 정형화된 강건성(robustness) 특성은 여전히 거의 탐구되지 않은 상태입니다. 본 연구에서는 상태 공간 모델(State Space Model, SSM) 기반 안전 헤드가 유계 임베딩(embedding) 공간 섭동(perturbation) 내의 모든 입력에 대해 동일한 예측을 생성함을 언제 보증할 수 있는지 묻습니다. 우리는 그 답이 단 하나의 조건에 달려 있음을 증명합니다. 즉, 상태 전이 행렬의 $l_\infty$ 노름이 $\norm{A}_\infty<1$(수축 조건, contraction condition)을 만족해야 하며, 이는 선형 시불변 분류기에 대한 정확한 구간 경계 전파(interval bound propagation, IBP) 보증을 가능하게 합니다. 수축 조건이 성립할 때 도달 가능한 출력 구간은 유계의 정상 상태(steady-state) 너비를 가지며 예제들이 강건하게 분류된 것으로 보증될 수 있습니다. 반면 조건이 성립하지 않으면 구간이 시퀀스 길이에 따라 지수적으로 증가하여 실용적인 섭동 반경에서는 보증이 불가능해집니다. 우리는 힌지 페널티(hinge penalty)로 수축을 강제하며, 유해 댓글 데이터에서 보증 비율이 41%에서 59%로 향상되고 이론과 일치하게 $\norm{A}_\infty=1$에서 뚜렷한 실증적 상전이(phase transition)가 나타남을 보입니다. JailbreakBench의 탈옥(jailbreak) 탐지에 수축 정규화된 S4 헤드를 적용하여, AdvBench(탐지율 DR=0.994) 및 HarmBench(DR=0.988)로의 제로샷(zero-shot) 전이를 달성했습니다. 평균 풀링(mean-pooled)된 Mamba-130M 임베딩에 대한 로지스틱 회귀는 모든 탐지 지표에서 S4 헤드와 대등하거나 이를 능가하여, 유해한 의도가 임베딩 공간에서 이미 선형적으로 분리 가능함을 확인해 줍니다. S4 안전 헤드의 기여는 더 뛰어난 구별 능력이 아니라, 프로브(probe) 기반 접근법에서는 제공할 수 없는 정형 보증(formal certification)을 제공한다는 점입니다.
원문 초록
Safety heads are lightweight classifiers attached to pretrained language models for flagging harmful inputs before generation. Their empirical detection performance has been studied, but their formal robustness properties remain largely unexplored. We ask when a State Space Model (SSM)-based safety head can be certified to produce the same prediction for all inputs within a bounded embedding-space perturbation. We prove that the answer turns on a single condition: the $l_\infty$ norm of the state transition matrix must satisfy $\norm{A}_\infty<1$ (the \emph{contraction condition}), which enables exact interval bound propagation (IBP) certification for linear time-invariant classifiers. When the contraction condition holds, the reachable output interval has bounded steady-state width and examples can be certified as robustly classified. When it fails, the interval grows exponentially with sequence length and certification is impossible at any practical perturbation radius. We enforce contraction with a hinge penalty and show on toxic comment data that certified fraction improves from 41\% to 59\%, with a sharp empirical phase transition at $\norm{A}_\infty=1$ matching the theory. Applying a contraction-regularized S4 head to jailbreak detection on JailbreakBench, we achieve a zero-shot transfer to AdvBench (DR=0.994) and HarmBench (DR=0.988). A logistic regression on mean-pooled Mamba-130M embeddings matches or exceeds the S4 head on every detection metric, confirming that harmful intent is already linearly separable in the embedding space. The S4 safety head's contribution is not superior discrimination but the formal certification that no probe-based approach provides.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
구별하도록 유도하기: 실제 환경에서 악의적 입력 탐지 프로브 일반화하기
Prompted to Discriminate: Generalizing Malicious-Input Probes in the Wild
대규모 언어 모델(LLM) 에이전트는 프롬프트 주입(prompt injection), 탈옥(jailbreak), 안전하지 않은 요청에 대응하는 런타임 모니터로서 활성화 프로브(activation probe)에 점점 더 많이 의존하고 있으며, 에이전트가 행동을 취하기 전에 유해한 입력을 감지하기 위해 모델 자체의 은닉 상태를 읽어냅니다. LLM-as-a-judge 프롬프팅에서 착안하여 점점 더 널리 쓰이는 저비용 접근법은 사용자 턴 뒤에 짧은 분류(classification) 지시문을 덧붙이고 해당 지점에서 프로브를 읽어 판별력을 높이는 방식입니다. 즉, 이 지시문은 모델이 들어오는 요청을 하나의 클래스로 표현하도록 요구하여 프로브가 분리해야 할 신호를 집중시키며, 이때 추가 서빙 비용은 거의 들지 않습니다. 그러나 이러한 접미사(suffix)의 문구가 실제로 중요한지, 그리고 배포된 모니터가 직면하게 되는 상황인 학습(training) 중 한 번도 보지 못한 공격 유형에 대해서도 실제 환경에서 그 이점이 유지되는지는 명확하지 않습니다. 본 연구에서는 13개 안전성(safety) 벤치마크(탈옥, 주입, 일반 대화)와 세 가지 오픈 가중치(open-weight) 모델 제품군(Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B)을 대상으로 엄격한 LODO(leave-one-dataset-out) 평가를 수행하여 사용자 뒤에 붙는 접미사들을 체계적으로 통제하며 테스트했습니다. 단일 위치 프로브에서 분류 접미사는 접미사가 없을 때보다 분포 외(out-of-distribution) 탐지 성능을 일관되게 향상시켰습니다(최대 약 4 AUC 포인트). 그러나 어떤 접미사를 사용하는지가 중요합니다. 내용이 없는 라벨로라도 입력을 분류하도록 모델에 프롬프트를 제공하는 방식이 확실한 우위를 보인 반면, 주제를 벗어나거나 단순히 주의만 환기하는 접미사는 거의 도움이 되지 않았습니다. 이러한 이득은 명시된 기준이 아니라 분류 형식 자체에서 비롯됩니다. 내용이 없는 무의미한 접미사도 실제 악성/정상 분류 접미사와 대등한 성능을 보였으며, 명시적 기준은 엄격한 임계값에서만 정밀도(precision)를 더할 뿐이었습니다. 이는 단일 위치 읽기의 특이 결과가 아닙니다. 이 이점은 프로덕션 환경에서 사용되는 다중 위치 풀링(pooling) 프로브(어텐션, multi-max, MLP)로도 이어졌으나, 여기서 가장 우수한 성능을 내는 접미사는 판독(readout) 방식에 따라 달라졌습니다. KV-캐시 포크를 통해 서빙할 경우 이는 모든 활성화 프로브 모니터에 손쉽게 대체 적용할 수 있는 저비용 방식이지만 무조건적인 해결책은 아닙니다. 어떤 접미사가 얼마만큼 도움이 되는지는 모델과 판독 방식에 따라 달라집니다.
RAS: Measuring LLM Safety Through Refusal Alignment
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
RedPhys: An Extensible Red-Teaming Platform for Physical-World Models and Agents
USAD: 불확실성 인식 통계적 적대적 탐지
USAD: Uncertainty-aware Statistical Adversarial Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
21 pages, 18 figures, AIMS Workshop @ COLM 2026