의도 은닉 탈옥: 구성적 공격을 위한 정보이론적 프레임워크
Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks
한국어 초록
최근 연구에 따르면 대규모 언어 모델(LLM)은 무해한 태스크와의 구성을 통해 유해한 의도를 은닉하는 탈옥(jailbreak) 공격에 취약할 수 있음이 나타났습니다. 단독으로는 거부되는 유해한 요청도 겉보기에 무해한 더 큰 질의 내에 포함되면 다른 응답을 유도할 수 있습니다. 본 연구에서는 이러한 구성적 의도 은닉 탈옥을 정보이론적 관점에서 연구합니다. 본 공식화는 각 태스크를 유해하다고 판단될 추정 확률과 연계합니다. 전체 태스크 집합에 대한 평균은 유해 의도의 사전 확률을 정의하고, 대상 태스크를 포함하는 선택된 번들에 대한 평균은 사후 확률을 정의합니다. 이러한 평균들이 일치하도록 보조 태스크를 선택하는 방식(이를 사전-사후 일치라고 부름)은 번들 내에 유해 대상이 남아있음에도 추정 의도를 변경되지 않은 상태로 유지합니다. 질의 생성이 최적화의 일부인지 여부에 따라 달라지는 두 가지 설정을 연구합니다. 질의 독립적 설정에서는 최종 질의에서 태스크가 어떻게 표현될지와 무관하게 태스크를 선택합니다. 번들 크기 제약 하에서 정확한 사전-사후 일치는 계산적으로 어렵다는 점을 보이고, 분수 가중치에 대한 최적의 워터 필링(water-filling) 해법을 도출하며, 규정된 안전성(safety) 임계값을 만족하는 가장 작은 번들의 특성을 밝힙니다. 질의 의존적 설정에서는 태스크 선택과 질의 구성을 공동으로 고려하며, 결과 질의에 대해 의도 은폐와 대상 보존을 평가합니다. 번들 크기, 질의 생성기, 여러 오픈소스 모델 전반에서 탈옥 효과와 대상 행동 보존을 평가합니다. 이러한 결과는 평가된 탐색 예산 하에서 구성적 질의가 직접 요청 기준선(baseline)을 넘어 대상 행동을 유도할 수 있음을 보여주는 동시에, 번들 크기가 증가함에 따라 여러 모델에서 응답 수준의 대상 보존이 감소하는 경향이 있다는 트레이드오프를 밝혀냅니다.
원문 초록
Recent work has shown that large language models (LLMs) can be vulnerable to jailbreak attacks in which harmful intent is obscured through composition with benign tasks. A harmful request refused in isolation may elicit a different response when embedded within a larger, seemingly benign query. We study these compositional intent-hiding jailbreaks from an information-theoretic perspective. Our formulation associates each task with an estimated probability of being judged harmful: the average over the full task collection defines the prior probability of harmful intent, while the average over a selected bundle containing the target defines the posterior. Selecting auxiliary tasks so that these averages agree, which we call prior-posterior matching, leaves the estimated intent unchanged even though the harmful target remains in the bundle. We study two settings that differ in whether query construction is part of the optimization. In the query-independent setting, tasks are selected without regard to how they will be expressed in the final query. We show that exact prior-posterior matching under a bundle-size constraint is computationally hard, derive an optimal water-filling solution for fractional weights, and characterize the smallest bundle satisfying a prescribed safety threshold. In the query-dependent setting, task selection and query construction are considered jointly, and intent concealment and target preservation are evaluated on the resulting query. We evaluate jailbreak effectiveness and preservation of the target behavior across bundle sizes, query generators, and several open-source models. These results show that compositional queries can elicit target behaviors beyond the direct-request baseline under the evaluated search budgets, while revealing a trade-off: as bundle size increases, response-level target preservation tends to decrease for several models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법
How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense
안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.
MLCommons 탈옥 벤치마크 v1.0
MLCommons Jailbreak Benchmark v1.0
현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.
교란된 Jailbreak 프롬프트의 기하학적 구성
Geometric Configurations of Perturbed Jailbreak Prompts
실패한 jailbreak 프롬프트를 성공적인 것으로 바꾸는 교란(perturbation) 기법은 지속적으로 진화하고 있으며, 이는 LLM 안전성(safety)에 대한 주요 보안 위협을 구성한다. 본 논문에서는 Qwen-2.5-1.5B/-3B/-7B-Instruct 및 Llama-3.2-1B/-3B/-3.1-8B-Instruct 계열의 소형 가중치 모델에서, 이러한 문자열 수준(string-level) 교란 jailbreak 입력의 내부 표현(internal representation)을 조사한다. 두 가지 표현 공간을 선택한다: 마지막 층-마지막 토큰 임베딩 공간과 상위 50개 다음 토큰 확률 공간. 전자의 공간은 철자와 형식에 따라 프롬프트를 분리하는 반면, 후자의 공간은 사실상 일차원(one-dimensional)이지만 클러스터링하기에는 더 복잡해 보인다. 거부(refusal)가 지배적인 답변 집합 내에서 두 공간 모두에서 행동적(behavioral) 초평면(hyperplane)을 찾지 못한다. 1.5B Qwen 모델에서는 다음 토큰 "Sure"만, 1B Llama 모델에서는 "," 및 "ĊĊ" 토큰 모두가 순응(compliant) 라벨이 붙은 답변과 유의미한 연관성을 보인다.
채팅에서 거부되고 코드로 작성되다: IDE 코딩 에이전트에서의 워크플로우 수준 탈옥 구성
Refused in Chat, Written in Code: Workflow-Level Jailbreak Construction in IDE Coding Agents
대규모 언어 모델(LLM)은 점점 더 IDE에 통합된 코딩 에이전트로 배포되고 있으며, 이러한 에이전트는 태스크를 분해하고 파일을 생성·편집하며 코드를 실행하고 여러 턴에 걸쳐 출력을 개선한다. 그러나 이들의 안전성은 여전히 챗봇처럼 평가되는 경우가 많다: 유해한 프롬프트 하나와 응답 하나를 독립적으로 판단하는 방식이다. 우리는 워크플로우 수준 탈옥 구성(workflow-level jailbreak construction)을 소개한다. 이는 유해한 목적이 단일 직접 프롬프트를 통해 생성되는 것이 아니라 소프트웨어 개발 워크플로우의 일반적인 단계에 걸쳐 조립되는 실패 모드이다. Visual Studio Code에서 GitHub Copilot을 사용하여 네 가지 비공개 가중치(closed-weight) 백엔드인 Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro, Gemini 3.5 Flash를 연구하였다. Hammurabi's Code, HarmBench, AdvBench에서 수집한 204개의 프롬프트에 걸쳐, 직접 채팅·CSV 읽기·단일 단계 코드 수정 기준선 조건에서 모델들은 거의 완전한 거부 반응을 보였으며, 각 기준선 조건에서 성공적인 응답은 816개 중 8개에 불과하였다. 그러나 전체 워크플로우 조건에서는 동일한 프롬프트와 백엔드가 816/816개의 안전하지 않은 교시 샷(teaching-shot) 완성을 생성하였으며, 이는 엄격한 루브릭 하에 두 명의 전문가 평가자가 독립적으로 확인하였다. 이러한 결과는 대화형 거부 벤치마크가 배포된 코딩 에이전트의 안전성을 크게 과대평가할 수 있음을 보여주며, 개별 채팅 턴뿐만 아니라 다중 턴 IDE 워크플로우와 그 생성 아티팩트 전반에 걸쳐 안전성을 추론하는 방어 기제의 필요성을 제기한다.
Jailbreak 공격 하에서의 견고한 유해 특징: 대규모 언어 모델의 어텐션 헤드 특화에 대한 기계론적 근거
Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models
Jailbreak 공격은 LLM의 안전성 정렬(alignment)을 우회하지만, 그 메커니즘은 여전히 잘 이해되지 않는다. 우리는 공격이 안전성 특징을 포괄적으로 제거하는 것이 아니라, 특정 어텐션 헤드를 선택적으로 억제한다는 증거를 제시한다. 기능적으로 분화된 두 유형을 식별한다: 공격 하에서 억제되는 초기 층에 집중된 적대적으로 손상된 헤드(Adversarially Compromised Heads, ACHs)와, 공격이 성공해도 견고한 활성화를 유지하는 중간 층의 안전성 정렬 헤드(Safety-Aligned Heads, SAHs). 절제(ablation) 연구는 ACHs의 인과적 역할과 SAHs의 견고한 활성화 기여를 뒷받침한다. 소수의 ACHs를 억제하는 것만으로도 정상적으로 거부되는 입력에서 jailbreak와 유사한 행동을 유도하기에 충분하며, SAHs를 제거하면 중간 층의 안전성 활성화가 크게 약화된다. 토큰 수준 귀속(attribution) 분석은 ACH 억제가 공격 템플릿 토큰에 의해 구체적으로 유도됨을 추가로 보여주며, 공격이 ACH 억제를 통해 거부 결정을 우회하면서도 SAHs가 유지하는 내부 안전성 신호는 남겨 두는 이유에 대한 기계론적 설명을 제공한다. 우리는 이 현상을 견고한 유해 특징(Robust Harmful Features)이라 부른다. 이러한 견고성의 실용적 의의를 검증하기 위해, 학습 없이 이러한 지속적인 활성화를 단순히 읽는 것만으로도 강한 적대적 견고성을 갖춘 경쟁력 있는 집계 탐지 성능을 달성함을 보인다.
RAS: Measuring LLM Safety Through Refusal Alignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.