대규모 언어 모델(LLM)은 유해한 요청에 대한 안전장치를 갖춘 오픈 가중치(open-weight) 모델로 점점 더 많이 공개되고 있다. 그럼에도 불구하고 문장 완성(sentence completion)은 불완전한 유해 프롬프트에 취약한 상태로 남아 있다. 본 연구에서는 이 현상을 불완전 프롬프트 탈옥(incomplete prompt jailbreak, IPJ)으로 형식화하고, 불완전한 프롬프트가 언제 어떻게 유해한 연속 생성을 유발하는지에 대한 체계적인 실증적 특성 분석을 제공한다. 우리는 불완전한 문장 연속 생성과 관련된 다양한 attractor 유형을 분석하고, LLM이 문장 종료까지 거부(refusal)를 체계적으로 지연한다는 것을 보인다. 또한 매개변수 튜닝을 통해 불완전한 유해 프롬프트를 거부하도록 모델을 학습시키는 것이 불충분하며, 콘텐츠 도메인과 attractor 유형 모두에 걸쳐 일반화하지 못한다는 것을 입증한다. 세밀한 제어를 가능하게 하기 위해, 우리는 두 가지 기능적 뉴런인 종료(termination) 뉴런과 연속(continuation) 뉴런을 식별한다. 문장 완성에서 이들의 역할을 명확히 함으로써, 보다 정밀하고 견고한 IPJ 방어를 위한 뉴런 수준 개입의 잠재력을 강조한다.
시각 생성 모델은 정제되지 않은 사전학습(pre-training) 데이터로부터 바람직하지 않은 개념을 불가피하게 흡수하므로, 안전한 배포를 위해 개념 소거가 필수적이다. 그러나 기존 소거 방법은 종종 아키텍처에 특화되어 있으며, 비대상 콘텐츠와 생성 사전지식(generative priors)을 보존하면서 대상 개념을 제거하는 데 어려움을 겪는다. 우리는 시각 생성을 위한 범용 추론(inference) 시점 개념 소거 프레임워크인 Uni-AdaVD를 제안한다. Uni-AdaVD는 멀티모달 어텐션(attention)의 값 공간을 통합 개입 공간으로 취급하고, 이질적인 텍스트 인코더 전반에 걸쳐 대상 의미를 국소화하기 위해 인코더 인지(encoder-aware) 대상 표현 구성을 도입한다. 또한 원본 모델(model) 가중치를 갱신하지 않고 대상 의미 방향을 억제하기 위해 직교 값 분해를 적응형 소거 시프트(adaptive erasing shift)와 결합한다. U-Net, DiT, 자기회귀(autoregressive) 이미지 생성기와 텍스트-비디오 모델에 대한 광범위한 실험은 비대상 사전지식을 보존하면서 단일 및 다중 개념 소거에서 강력한 성능을 보여준다. 이 결과는 Uni-AdaVD가 현대 시각 생성 모델을 위한 효율적이고 적응 가능한 안전성(safety) 메커니즘을 제공함을 시사한다. 코드는 https://github.com/QifanZhou/Uni-AdaVD 에서 제공된다.
탈옥(jailbreak) 견고성 연구는 일반적으로 LLM-as-judge 접근법을 사용하여 생성된 응답을 통해 안전성을 평가한다. 그러나 이러한 평가는 벤치마크의 채점 절차에 민감하며, 주어진 공격 집합에서 관찰된 행동만을 포착할 뿐, 기저 안전 메커니즘의 숨겨진 취약성을 직접적으로 드러내지 못한다. 본 연구는 JADR(Jacobian Assessment of Danger Recognition, 위험 인식의 야코비안 평가)를 제안한다. 이는 첫 응답 토큰이 생성되기 전에 야코비안 공간(J-space, 언어화 가능한 개념의 작업 공간으로 최근 제안됨)을 통해 모델의 내부 표현을 측정하는 프로토콜이다. 각 프롬프트와 층에 대해 상위 k개의 J-공간 토큰을 기록하며, 이들은 여섯 가지 행동 시나리오 축으로 그룹화되고 StrongREJECT에 기반한 위험 샘플과 XSTest 및 OKTest에서 추출한 안전 대조군 사이에서 비교된다. 이 방법은 외부 판정 모델을 호출하지 않는다: 계산은 평가 대상 모델의 활성화 위에서 완전히 로컬로 실행되며, 이를 통해 서로 다른 모델 간 비교와 단일 모델의 수정—특히 양자화와 미세조정—을 동일한 기준으로 비교할 수 있다. 최종 비교는 제안된 SafetyAUC 지표에 기반하며, 부트스트랩 신뢰구간으로 보완된다. 이 프로토콜은 여섯 개 모델(Qwen3-1.7B, Qwen3-4B, Qwen3-8B, Qwen3-Uncensored-4B, Qwen3-SafeRL-4B, Gemma 2 9B)에 대해 세 가지 가중치 표현 체계—BF16, INT8, INT4—를 걸쳐 적용되었으며, StrongREJECT 채점기를 사용한 독립적인 행동 평가와 대조 검증되었다. 이 지표는 강한 내부 안전 메커니즘과 약한 내부 안전 메커니즘을 가진 모델을 통계적으로 유의하게 구분하며, 양자화 체계 간 실질적으로 다른 효과를 포착한다.
Today's reasoning models use thinking tokens to attain stronger performance on benchmarks than their instruction-tuned counterparts. It is also generally believed that this more "deliberative" mode should improve alignment and safety, by providing the model a safe space to consider whether its planned answer to a request violates its safety principles. We present evidence that this intuition is not always correct. Across frontier open-weight reasoning models spanning GPT-OSS, Qwen, Olmo, and Phi families, we find that the eventual refusal/compliance outcome is already strongly predictable via a trained head on the first token's hidden representation ($0.84$-$0.95$ AUROC and $\sim88\%$ balanced accuracy for predicting refusal/compliance) before any visible thinking. The thinking process turns out to be more akin to prefix completion than to deliberative revision, with the final outcome rarely changing after the first $\sim20\%$ of thinking, despite giving the appearance of deliberation at the text level ($\sim74\%$ of text-level deliberations occur when the response distribution is already locked to one refusal/compliance side). We also find that existing inference-time and training-based safety interventions, despite being motivated by the goal of inducing deliberation, largely shift model behavior toward over-refusal while suppressing already-scarce deliberation signals. Our results suggest that safety behavior in current reasoning models is much less deliberative than commonly assumed, and highlight the need for methods that induce real safety deliberation.
We introduce a large-scale, open-source dataset of pre-generated adversarial attacks for vision-language models (VLMs). The dataset is designed to be diverse, representative, and practical, extending existing benchmarks by covering 10 high-level categories and 55 subcategories of harmful intents. Our primary goal is to make adversarial data accessible to the research community, given the computational cost and complexity of generating large numbers of attacks. The dataset comprises 47 524 adversarial samples, generated using state-of-the-art attack strategies from recent literature. Our work complements existing efforts by consolidating and extending prior benchmarks from multiple established sources, resulting in 7 826 intents, and introduce an additional category to broaden coverage. This provides realistic evaluation resources for studying model robustness and alignment. Our dataset intends to enable researchers and practitioners to systematically evaluate the robustness and safety of VLMs, fine-tune attack-generation models, and develop or stress-test defensive guardrails under diverse adversarial conditions. By releasing this resource, we aim to lower the barrier to adversarial research and foster more reproducible, comprehensive, and comparable evaluations of VLM safety.
적대적 prefill 공격으로 유도된 자신의 출력을 LLM이 사후에 신뢰할 수 있게 인식하는지 10개 instruction-tuned 모델(3B~70B)과 4개 안전성 벤치마크에서 검증한 결과, 어떤 모델도 손상된 출력을 안정적으로 인식하지 못했고 prefill 응답에 의도를 주장하는 비율은 평균 27.3%였다. 자기 성찰 신호는 주로 거부(refusal) 관련 추론에서 비롯되며, 거부 방향 직교화는 prefill과 자연 출력 간 주장 격차를 거의 없애지만 probe 프레이밍에 민감하고, LoRA 파인튜닝(SFT, GRPO, DPO)은 의도 probe 격차를 넓히거나 대부분 모델에서 공격 성공률을 높여 자기 보고의 신뢰성 위험을 드러낸다.
37개 오픈 가중치 언어 모델에 대한 8개 실험에서 평가 인식(evaluation awareness)은 감지, 안전 행동 변화, 내부 표현 유지, 인과적 조향 가능성이 약하게만 결합된 다차원 특성으로 나타났다. 평가 단서를 감지하면 벤치마크 준수율이 실제 배포 안전성을 과대평가하는 벤치마크 착시(benchmark illusion)가 생기므로, 단일 인식 점수는 배포 안전성의 신뢰할 만한 대리 지표가 될 수 없다.
정렬(alignment)으로 LLM이 고정관념 관련 설정에서 명시적 증거를 무시하고 정당한 결론을 거부하는 오발된 정렬(misfired alignment)을 정량화하기 위해 BBQ 파생 대조 쌍 벤치마크 VETO와 오발된 정렬률(MAR) 지표를 제안한다. 25개 LLM은 MAR 4.7~18.9%를 보였고 인간은 0%였으며, 안전 관련 프라이밍이 MAR을 증폭하고 인스트럭션 튜닝 이후 후기 층에서 증거 지원 답변이 억제되는 기계론적 패턴이 확인되었다.