arXiv:2610.07532v2 cs.CR

다크 지식 기반의 모델 비의존적 잠재 안전성 신호를 활용한 LLM 보호

Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge

Wonjun Lee, Kyungsik Yang, Gaeun Ji, Vaidehi Patil, Haon Park, Bumsub Ham, Mohit Bansal, Suhyun Kim

제출 2026-10-05

한국어 초록

대규모 언어 모델(LLM)이 빠르게 발전함에 따라 안전성(safety)에 대한 우려가 커지고 있습니다. 최근 연구에서는 모델의 은닉 상태(hidden states)를 활용하는 디코딩 단계에서의 방어를 포함하여 공격을 탐지하고 방어하기 위한 접근법들을 제안했습니다. 그러나 기존의 디코딩 단계 방어는 두 가지 한계를 지닙니다. 첫째, 안전성을 강화하면 무해한 질의에 대한 모델의 유용성이 저하되는 등 안전성과 과도한 거부(over-refusal) 사이의 트레이드오프를 유발합니다. 둘째, 이러한 방법 중 다수는 내부 은닉 상태에 의존하므로 특정 아키텍처로 제한되며 상당한 오버헤드를 발생시키고 모델 간 일반화가 제한적입니다. 이러한 한계를 해결하기 위해, 첫 번째 토큰(token) 출력 확률 분포의 다크 지식(dark knowledge, 즉 argmax를 넘어 출력 확률 분포가 지닌 정보)에서 유해한 질의와 무해한 질의를 대조하여 추출한 잠재 안전성 신호를 활용하는 LADE(Latent Safety Signals for Defense)를 소개합니다. 우리의 핵심 통찰은 표면적인 거부 토큰을 넘어 첫 번째 토큰 분포의 다크 지식에 유해한 질의와 무해한 질의 간에 확률 차이가 뚜렷한 토큰으로 정의되는 잠재 안전성 신호가 포함되어 있다는 점입니다. 우리는 이러한 신호들이 LLM 전반에 걸쳐 일관되게 정렬되어 안전성 정렬(safety alignment)에서 발현되는 모델 비의존적(model-agnostic) 방향을 형성함을 보여줍니다. LADE는 세 가지 구성 요소로 이루어집니다: (1) 첫 번째 토큰 확률 분포에서 안전성 식별력이 높은 상위 k개 토큰을 선택하는 '다크 지식 기반 잠재 안전성 신호 추출', (2) 모델 비의존적 적용을 가능하게 하기 위해 서로 다른 토크나이저 간에 이러한 토큰들을 매핑하는 '토크나이저 매핑', (3) 매핑된 토큰에 대한 k-최근접 이웃(k-Nearest Neighbors) 검색을 통해 질의를 분류하는 'kNN 기반 판별'. 다양한 LLM과 벤치마크 전반에서 LADE는 광범위한 탈옥(jailbreak) 공격에 견고하며, 경쟁력 있는 안전성-유용성 트레이드오프를 유지하면서 공격 성공률을 낮춥니다.

원문 초록

LLMs have advanced rapidly, raising growing concerns about their safety. Recent work has proposed approaches to detect and defend against attacks including defenses at decoding stage that leverage models' hidden states. However, existing decoding-stage defenses suffer from two limitations. First, they introduce a trade-off between safety and over-refusal, where strengthening safety degrades the model's helpfulness on benign queries. Second, many of these methods rely on internal hidden states and are thus restricted to specific architectures, incurring substantial overhead and limited generalization across models. To address these limitations, we introduce LADE (Latent Safety Signals for Defense), which leverages latent safety signals extracted by contrasting harmful and benign queries from dark knowledge (i.e., information carried by the output probability distribution beyond its argmax) in the first-token output probability distribution. Our key insight is that, beyond surface-level refusal tokens, the dark knowledge in the first-token distribution contains latent safety signals, defined as tokens whose probabilities differ sharply between harmful and benign queries. We show that these signals consistently align across LLMs, forming a model-agnostic direction that emerges from safety alignment. LADE consists of three components: (1) Extracting Latent Safety Signals from Dark Knowledge, which selects top-k safety-discriminative tokens from the first-token probability distribution; (2) Tokenizer Mapping, which maps these tokens across different tokenizers to enable model-agnostic application; and (3) kNN-based Discrimination, which classifies queries via a k-Nearest Neighbors search over the mapped tokens. Across diverse LLMs and benchmarks, LADE is robust against a wide range of jailbreak attacks and lowers attack success rates while maintaining a competitive safety-utility trade-off.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07532v2제출 시각 미확인
  2. arXiv:2610.07532v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.