PyTorchKR Papers

최신 논문

총 49편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25750v2cs.CR

RAS: Measuring LLM Safety Through Refusal Alignment

Repeated safety evaluation of open-weight large language models requires generating and judging responses for many related checkpoints. We introduce RAS (Refusal Alignment Score), a representation-based, reference-relative indicator of harmful-request refusal computed by the five-stage SafeVec procedure. SafeVec extracts layer-wise refusal directions from an aligned reference model, measures their alignment in related targets, and calibrates a score from 0 to 100 using behavioral attack success rates (ASR) from reference and calibration models. Subsequent target scoring uses input forward passes alone. Across 18 held-out variants from the Llama, Gemma, and Qwen families, RAS correlates with $100(1-\mathrm{ASR})$ (Pearson 0.934, Spearman 0.851) and achieves 83.0% pairwise ordering agreement. Across five prompt configurations for the Llama reference, directions have mean cosine similarity 0.939. With calibration ASR already available, setup-inclusive evaluation of five targets achieves a speedup of 3.2 to 80.5 times over the specified behavioral protocol. These results support refusal alignment as an efficient signal for screening related checkpoints and prioritizing behavioral audits.

arXiv:2606.11270v3cs.LG

언어 모델 증류에서 잠재적 행동 전이 비율 정량화

Quantifying Subliminal Behavioral Transfer Ratios in Language Model Distillation

Distillation of a language model intended to transfer benign behavior to a student model may also transfer undesirable characteristics, if they are present in the teacher model, a phenomenon known as subliminal learning. While qualitative evidence supports the existence of this effect, its magnitude has not been systematically characterized. This study quantifies subliminal behavioral transfer ratios by steering two teacher models (Llama-2-7B-Chat and Qwen2.5-7B-Instruct) at varying steering strengths and distilling student models using only benign data. Evaluation on 100 JailbreakBench prompts with GPT-4.1, serving as the evaluator, indicates that transfer is robust but exhibits distinct scaling behaviors. Llama-2 demonstrates a sharp threshold ($\tau = {0.25,0.32} \ \text{beyond} \ \alpha = -0.15$), whereas Qwen2.5 displays continuous and higher levels of transfer ($\tau$ up to $0.61$).

arXiv:2605.21706v3cs.AI

언어 모델에서 거부 회피를 위한 잠재 공간 공격

Latent-space Attacks for Refusal Evasion in Language Models

Safety-aligned language models are trained to refuse harmful requests, yet refusal behavior can be suppressed by steering their internal representations. Existing methods do so by ablating a refusal direction from model activations, aiming to remove refusal from the model's residual stream. Despite their empirical success, these methods lack a principled account of the latent-space transformation they induce and why it suppresses refusal. In this work, we recast refusal suppression as a latent-space evasion attack against linear probes trained to separate refused from answered prompts. Under this view, prior work's difference-in-means direction naturally defines such a probe, and its ablation is exactly a projection onto its decision boundary, i.e., a minimum-confidence evasion attack. This perspective not only explains the empirical success of prior work but also admits a key limitation: evasion stops at the decision boundary, motivating the need to push representations further into the compliant region, i.e., where the model answers. We leverage this by proposing a Controlled Latent-space Evasion attack that projects representations past the boundary with an optimized confidence. Across 15 instruction-tuned, multimodal, and reasoning language models, we achieve higher attack success rates than existing refusal-ablation baselines, also outperforming jailbreak attacks.

arXiv:2607.00481v2cs.CR

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

함수 호출(function-calling) 환경에서 개발자 정의 스키마, 구조화된 인수, 외부 도구 출력이 단일 컨텍스트에 혼재되는 구조적 취약점을 악용하는 블랙박스 탈옥(jailbreak) 프레임워크 SMT(Simulated Moderation Traces)를 제안한다. SMT는 합법적인 모더레이션 감사 워크플로우를 시뮬레이션하는 멀티턴 궤적을 구성하여 모델의 안전 거부 응답을 실행 오류로 재구성함으로써 점진적으로 안전 제약을 약화시키며, 5개 제공사의 상용 대규모 언어 모델(LLM)에 대한 평가에서 기존 기법 대비 최고 수준의 공격 성공률과 HarmScore를 달성했다.

arXiv:2606.11817v3cs.CR

문법 제약 디코딩(GCD)은 LLM을 탈옥시켜 악성 코드를 생성하게 할 수 있다

Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code

대규모 언어 모델(LLM)은 코드 생성에 점점 더 많이 사용되고 있으며, 악성 코드를 생성하는 데 오용될 수 있다는 우려가 제기되고 있습니다. 한편, 문법 제약 디코딩(GCD)은 구문적 유효성을 강제하여 LLM이 생성한 코드의 신뢰성을 높이기 위해 널리 채택되었습니다. 본 논문에서 우리는 직관에 반하는 위험을 밝혀냅니다: 이러한 신뢰성 지향 기술 자체가 공격 표면이 될 수 있다는 것입니다. 우리는 GCD를 악용하여 LLM이 악성 코드를 생성하도록 유도하는 CodeSpear라는 새로운 탈옥(jailbreak) 공격을 발견했습니다. 실험 결과, 단순히 양성의 코드 문법 제약을 적용하는 것만으로도 LLM을 효과적으로 탈옥시킬 수 있음을 보여줍니다. 이러한 취약점을 해결하기 위해, 공격자가 제어하는 문법 제약 하에서도 안전한 행동을 견고하게 유지하는 안전성 정렬 접근법인 CodeShield를 제안합니다. CodeShield는 GCD 하에서 허니팟 코드를 생성하도록 모델을 학습시켜 코드 모달리티에서 모델을 정렬합니다. 이러한 코드는 의미적으로 무해하여 악의적인 요청을 구현하지 않으며, 구조적으로 다양하여 문법 강화를 통해 억제하기 어렵습니다. 동시에 CodeShield는 자연어를 사용할 수 있는 경우 자연어 거부를 여전히 보존합니다. 4개의 벤치마크에서 10개의 인기 있는 LLM을 대상으로 한 실험에 따르면, CodeSpear는 대표적인 탈옥 기준선(baselines)보다 성능이 뛰어나며 평균 공격 성공률을 30%p 이상 높입니다. 또한 CodeShield는 양성 유틸리티를 보존하면서 CodeSpear 하에서 안전성을 회복합니다. 우리의 연구 결과는 GCD의 근본적인 위험을 드러내며, 잠재적인 보안 영향에 대해 더 큰 관심을 기울일 필요가 있음을 시사합니다.

arXiv:2606.11425v2cs.CR

JailbreakOPT: Iterative Jailbreak Prompt Optimization with Macro-Action

Jailbreak attacks expose persistent safety weaknesses in large language models (LLMs), but existing stateless single-turn methods face a trade-off: hand-crafted prompts are expressive but static, while iterative prompt optimization can adapt but often relies on low-level mutations that require many target-model responses. We propose JailbreakOPT, a method that maintains a library of reusable prompt transformations (actions) and composes them into macro-actions for within-episode search, generating standalone attack prompts. To reuse experience across episodes, JailbreakOPT learns an action-selection policy using contextual Thompson sampling and outcomes from prior search paths. Experiments across multiple LLMs and benchmarks show that JailbreakOPT improves attack success rate (ASR) over single-action and iterative baselines. More broadly, exploration and exploitation over human-designed attack strategies can help probe residual vulnerabilities and identify failure patterns that may inform defenses aimed at broader classes of attacks.

arXiv:2610.15721v1cs.LG

캐시할 것인가 말 것인가: 교차 모델 KV 캐시 재사용에서의 안전성 비호환성 이해 및 완화

To Cache or Not to Cache: Understanding and Mitigating Safety Incompatibility in Cross-Model KV Cache Reuse

교차 모델(cross-model) KV 캐시 공유는 수신자(receiver) 모델이 관련된 송신자(sender) 모델에서 생성된 접두 문맥(prefix) KV 상태를 재사용할 수 있도록 함으로써 프리필(prefill) 연산을 줄입니다. 기존 방법들은 이러한 재사용을 지연 시간과 생성 품질 측면에서 최적화하지만, 그에 따른 안전성(safety) 영향은 여전히 불분명합니다. 본 연구에서는 다양한 송신자-수신자 모델 쌍과 재사용 구성 전반에 걸쳐 이 문제를 체계적으로 평가합니다. 우리는 수신자 모델 고유의 안전성 동작에서 벗어나는 현상을 '안전성 비호환성(safety incompatibility)'이라고 정의합니다. 연구 결과, 안전성 비호환성의 방향과 크기는 모델 쌍과 재사용 구성에 따라 달라지며, 평가된 모든 쌍에서 value 재사용이 key 재사용보다 훨씬 더 큰 편차를 유발하는 것으로 나타났습니다. 나아가, 디코딩 전에 재사용된 송신자 value 텐서를 수신자 고유의 대응 텐서와 정렬하기 위해 층(layer)별 및 KV 헤드별 아핀 매핑(affine map)을 오프라인으로 학습하는 기법인 VReparo를 제안합니다. 전체 KV 재사용 및 최첨단 선택적 재사용 설정의 두 모델 쌍에 걸쳐, VReparo는 벤치마크에서 평균 85.62%의 첫 토큰 생성 시간(TTFT) 단축 효과를 유지하면서도 평균 HarmBench 공격 성공률(ASR)을 57.28%에서 39.21%로, 평균 StrongREJECT 점수를 0.4215에서 0.2163으로 낮춥니다.

arXiv:2610.11005v1cs.AI

서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법

How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense

안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.

arXiv:2610.10742v1cs.CR

BRANCH: 다중 스캐너 AI 가드레일 우회 기법

BRANCH: Bypassing Multi-Scanner AI Guardrails

AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.

arXiv:2609.39607v2cs.CR

Pretext: AI 에이전트 악성 스킬 탐지 프레임워크 무력화

Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents

스킬은 컨텍스트에 인스트럭션과 정보를 주입하여 에이전트(agent)의 기능을 확장하며, OpenClaw 및 Claude Code와 같은 에이전트에서 널리 활용되고 있습니다. 선행 연구에 따르면 서드파티 마켓플레이스에는 공격자가 피해자의 에이전트에 직접적인 영향력을 행사할 수 있도록 하는 악성 스킬이 호스팅되고 있습니다. 이에 대응해 등장한 방어 기법은 NVIDIA의 SkillSpector와 같이 결정론적 정적 검사와 대규모 언어 모델(LLM) 기반 시맨틱 판별기를 결합하여 설치 전에 스킬을 스캔합니다. 본 논문에서는 탐지기를 파악하고 있는 공격자에게 이러한 방어 기법이 무력화됨을 보여줍니다. 화이트박스 LLM 공격자인 Pretext는 정상적인 작업을 수행하고 페이로드를 전달하면서도 탐지를 회피하는 스킬을 반복적으로 생성합니다. 즉, 페이로드를 코드에서 자연어로 이전하여 정적 분석을 무력화하고, 이를 스킬의 정당한 목적으로 위장하며 인스트럭션을 여러 파일에 걸쳐 분할함으로써 LLM 단계의 차단 임계값 미만으로 유지합니다. 3개의 오픈소스 모델 전반에 걸쳐 Pretext는 고정된 탐지기와 상호 적응형(co-adaptive) 탐지기에 대해 각각 최대 97% 및 77%의 회피율을 달성하여, 현재 스킬 스캐너의 중대한 결함을 드러냅니다.

arXiv:2603.11331v4cs.LG

대규모 언어 모델(LLM)을 위한 탈옥(Jailbreak) 스케일링 법칙: 다항-지수 교차

Jailbreak Scaling Laws for Large Language Models: Polynomial-Exponential Crossover

적대적 공격(adversarial attack)은 안전성에 맞춰 정렬된(safety-aligned) 대규모 언어 모델(LLM)을 안전하지 않은 행동으로 안정적으로 유도할 수 있다. 실증적으로, 우리는 적대적 프롬프트 주입(prompt-injection) 공격이 추론(inference) 시점 샘플 수에 따른 공격 성공률의 증가 양상을, 주입이 없을 때 관찰되는 느린 다항적(polynomial) 증가에서 지수적(exponential) 증가로 증폭시킬 수 있음을 발견했다. 우리는 먼저 맥락(context)에 따른 안전한 생성(generation)의 분포에 대한 소수의 가정을 제시함으로써, 이 두 가지 스케일링 법칙이 모두 성립하는 두 레짐(regime)에 대한 최소한의 통계적 메커니즘을 규명한다. 이 현상을 더 설명하기 위해, 우리는 복제 대칭성 깨짐(replica-symmetry-breaking) 영역에서 작동하는 스핀 글래스(spin-glass) 시스템의 관점에서 대리 언어(proxy language)에 대한 이론적 생성 모델(generative model)을 제안하며, 이 모델에서 생성은 연관된 깁스 측도(Gibbs measure)로부터 추출되고 저에너지이면서 크기에 편향된(size-biased) 클러스터의 부분집합이 안전하지 않은 것으로 지정된다. 우리는 이 모델이 앞서의 최소 가정들을 어떻게 자연스럽게 구현하는지 해석적으로(analytically) 보인다. 짧게 주입된 프롬프트(prompt)는 안전하지 않은 클러스터 중심 방향으로 정렬된 약한 자기장(magnetic field)에 대응하며 추론 시점 샘플 수에 따른 공격 성공률의 거듭제곱 법칙(power-law) 스케일링을 낳는 반면, 길게 주입된 프롬프트, 즉 강한 자기장은 지수적 스케일링을 낳는다. 우리는 30억(3B)에서 700억(70B)에 이르는 매개변수(parameter) 규모에 걸친 광범위한 대규모 언어 모델(LLM)들에서 질적으로 일관된 거동을 관찰한다. 특히, 주요 경향은 GCG 및 AutoDAN과 같은 다양한 공격 기법뿐만 아니라 AdvBench 및 HarmBench와 같은 벤치마크(benchmark) 데이터셋(dataset)에서도 안정적으로 유지된다.

arXiv:2608.29564v3cs.CL

TACS: LLM 탈옥 접미사 최적화를 위한 궤적 인식 후보 선택

TACS: Trajectory-Aware Candidate Selection for LLM Jailbreak Suffix Optimization

그래디언트(gradient) 기반 탈옥 접미사(jailbreak suffix) 최적화 방법은 일반적으로 현재 손실(loss)이 가장 낮은 후보를 유지하는 방식으로 접미사를 업데이트합니다. 본 논문에서는 이러한 자연스러워 보이는 설계가 근본적으로 근시안적임을 보여줍니다. 현재 단계의 프록시 하에서 더 우수해 보이는 후보들이 탐색 후반부에서 더 나은 탈옥 결과를 내지 못하는 경우가 빈번하며, 이는 선택 단계에서의 보상 해킹(reward hacking)의 일종임을 밝혀냅니다. 이는 후보 생성뿐만 아니라 후보 선택 자체가 접미사 최적화의 숨겨진 병목점임을 시사합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 탈옥 접미사 최적화를 위한 궤적 인식 후보 선택 프레임워크인 TACS를 제안합니다. TACS는 즉각적인 손실만으로 후보를 선택하는 대신 단계별 평가를 궤적 인식 프록시로 보강하고, 참조 정책 정규화(regularization) 및 판별자(discriminator)로 추정된 카이제곱 보정을 통해 선택을 안정화함으로써 현재 단계를 넘어서도 효과적으로 유지되는 선택을 유도합니다. HarmBench에 대한 실험 결과, TACS는 동일한 탐색 예산 하에서 강력한 베이스라인들을 지속적으로 능가하여 공격 성공률을 대폭 향상시키는 동시에 탐색 전반에 걸쳐 더욱 안정적인 최적화 동작을 보였습니다. 본 연구 결과는 근시안적 후보 선택으로 인해 발생하는 선택 단계의 보상 해킹을 완화하는 것이 탈옥 접미사 최적화를 개선하는 데 결정적임을 강조합니다.

arXiv:2606.13994v2cs.CR

눈앞에 숨겨진 위협: DECOMPBENCH를 활용한 분해 공격 대비 에이전트 안전성 벤치마킹

Hidden in Plain Sight: Benchmarking Agent Safety Against Decomposition Attacks with DECOMPBENCH

대규모 언어 모델(LLM) 기반 에이전트(agent)의 성능이 향상되고 널리 배포됨에 따라, 실제 환경에서 적대적 오용에 대한 유인이 커지고 있습니다. 주요 신종 위협 중 하나는 분해 공격(Decomposition Attacks) \cite{glukhov2024breach, jones2024adversaries}으로, 유해한 작업을 개별적으로 실행될 때 안전성(safety) 메커니즘을 회피하지만 누적되어 악의적인 의도를 달성하는 더 단순하고 무해한 하위 작업들로 쪼개는 방식입니다. 최근의 벤치마크들은 멀티턴 및 다중 도구 사용 환경에서 에이전트 안전성을 평가하지만, 이러한 형태의 분해 기반 오용을 명시적으로 포착하지 못하며 현실적인 적대적 실행 흐름을 반영하지 못할 수 있습니다. 이를 위해 본 연구에서는 분해 공격 환경에서 에이전트 안전성을 평가하기 위해 특별히 설계된 벤치마크인 DeCompBench를 소개합니다. DeCompBench는 그래프 프레임워크를 사용하는 '설계 단계부터의 분해(decomposition-by-design)' 원칙으로 제작되었으며, 유해한 작업을 현실적인 워크플로우를 갖는 개별적으로 무해하고 실행 가능한 하위 작업으로 분해할 수 있도록 지원합니다. 맞춤형 분해기를 사용한 실험 결과에 따르면, 최신 에이전트들은 단일한 형태의 유해한 작업에 대해서는 높은 거부율을 보이지만 분해된 변형 작업에 대해서는 거부율이 크게 낮아지며, 의도치 않게 적대적 목표를 달성하는 경우가 흔한 것으로 나타났습니다. 이러한 발견은 분해 공격에 대한 안전성 평가 및 이에 상응하는 방어 기법의 필요성을 강조합니다. 본 연구의 데이터셋(dataset)은 공개되어 있으며 https://huggingface.co/datasets/decompositionbench/DeCompBench 에서 확인할 수 있습니다.

arXiv:2610.02302v1cs.CR

의도 은닉 탈옥: 구성적 공격을 위한 정보이론적 프레임워크

Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks

최근 연구에 따르면 대규모 언어 모델(LLM)은 무해한 태스크와의 구성을 통해 유해한 의도를 은닉하는 탈옥(jailbreak) 공격에 취약할 수 있음이 나타났습니다. 단독으로는 거부되는 유해한 요청도 겉보기에 무해한 더 큰 질의 내에 포함되면 다른 응답을 유도할 수 있습니다. 본 연구에서는 이러한 구성적 의도 은닉 탈옥을 정보이론적 관점에서 연구합니다. 본 공식화는 각 태스크를 유해하다고 판단될 추정 확률과 연계합니다. 전체 태스크 집합에 대한 평균은 유해 의도의 사전 확률을 정의하고, 대상 태스크를 포함하는 선택된 번들에 대한 평균은 사후 확률을 정의합니다. 이러한 평균들이 일치하도록 보조 태스크를 선택하는 방식(이를 사전-사후 일치라고 부름)은 번들 내에 유해 대상이 남아있음에도 추정 의도를 변경되지 않은 상태로 유지합니다. 질의 생성이 최적화의 일부인지 여부에 따라 달라지는 두 가지 설정을 연구합니다. 질의 독립적 설정에서는 최종 질의에서 태스크가 어떻게 표현될지와 무관하게 태스크를 선택합니다. 번들 크기 제약 하에서 정확한 사전-사후 일치는 계산적으로 어렵다는 점을 보이고, 분수 가중치에 대한 최적의 워터 필링(water-filling) 해법을 도출하며, 규정된 안전성(safety) 임계값을 만족하는 가장 작은 번들의 특성을 밝힙니다. 질의 의존적 설정에서는 태스크 선택과 질의 구성을 공동으로 고려하며, 결과 질의에 대해 의도 은폐와 대상 보존을 평가합니다. 번들 크기, 질의 생성기, 여러 오픈소스 모델 전반에서 탈옥 효과와 대상 행동 보존을 평가합니다. 이러한 결과는 평가된 탐색 예산 하에서 구성적 질의가 직접 요청 기준선(baseline)을 넘어 대상 행동을 유도할 수 있음을 보여주는 동시에, 번들 크기가 증가함에 따라 여러 모델에서 응답 수준의 대상 보존이 감소하는 경향이 있다는 트레이드오프를 밝혀냅니다.

arXiv:2610.02910v1cs.AI

빈도는 민감도가 아니다: 희소 MoE 대규모 언어 모델에서 안전성에 민감한 전문가 식별

Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM

라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.

arXiv:2610.02827v1cs.AI

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

arXiv:2412.16633v5cs.RO

말보다 어려운 행동: LLM 기반 로봇의 탈옥에서 의도-행동 간 격차 분석

Easier Said Than Done: Unpacking Intent-Behavior Gap in Jailbreaking LLM-Based Robots

LLM 기반 로봇은 대규모 언어 모델(LLM)을 플래너로 활용하여 자연어 명령을 grasp(), move_to(), open_gripper()와 같은 정책(policy)으로 변환합니다. 이러한 로봇에 대한 탈옥(jailbreak) 공격은 악성 콘텐츠 생성을 넘어 유해한 행동을 실행하는 것으로 위협을 확장합니다. 그러나 본 연구에서는 논리적 오류나 환각(hallucination)된 제어 API와 같은 로봇 고유의 제약 조건으로 인해, 악의적으로 보이는 정책을 생성하는 기존 LLM 기반 로봇 탈옥 시도(의도 탈옥)가 로봇의 유해한 물리적 동작을 유발하는 것(행동 탈옥)에는 실패하는 경우가 많음을 발견했습니다. 본 논문에서는 이러한 의도-행동 간 격차를 규명하고 근본 원인을 조사하여 효과적인 방어책을 마련하고자 합니다. 측정 연구 결과, 현재의 LLM 탈옥 방식은 로봇 고유의 구문 제약(예: 실행 가능한 제어 API) 및 물리적 실현 가능성(예: 정책 순서, 하드웨어/기구학적 제약)을 간과하는 것으로 나타났습니다. 이러한 격차를 해소하기 위해 최적화(optimization) 및 평가(evaluation) 과정 모두에서 로봇 고유의 제약 조건을 고려하는 자동화된 레드팀 테스팅(red-teaming) 프레임워크인 POEF(POlicy EFfective Jailbreak)를 도입합니다. 구체적으로 POEF는 정렬(alignment)되지 않은 LLM의 은닉층(hidden-layer) 그래디언트를 활용하여 탈옥 프롬프트 최적화를 안내하며, 다중 에이전트(multi-agent) 평가기를 사용하여 생성된 정책의 실현 가능성을 평가합니다. Unitree G1, Franka 로봇 팔 및 시뮬레이터를 포함한 상용 로봇 대상 실험 결과, POEF는 80%의 행동 탈옥 성공률을 달성하며 다양한 LLM에 걸쳐 전이됨을 보여줍니다. 또한 행동 탈옥 위험을 완화하는 두 가지 방어 전략을 제안합니다. 본 연구 결과는 LLM 기반 로봇이 대규모로 배포되기 전에 더욱 강력한 대응책이 시급히 필요함을 시사합니다. 홈페이지는 https://zjushine.github.io/poef.github.io/ 에서 확인할 수 있습니다.

arXiv:2606.01322v2cs.CL

TukaBench: 아프리카 언어를 위한 문화적 그라운딩 기반 탈옥 벤치마크

TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages

대규모 언어 모델(LLM)의 안전성(safety) 평가는 여전히 영어 중심적이어서, 저자원 언어(LRL), 특히 아프리카 언어에 대한 탐색은 심각하게 부족한 상황이다. 본 논문에서는 JBB(JailbreakBench) 프롬프트의 인간 번역, 아프리카 맥락에 맞춘 영어 각색 후 인간 번역, GPT-5.2와의 상호작용을 통해 검증된 인간 큐레이션 프롬프트, 그리고 영어와 아프리카 언어를 결합한 코드 스위칭 프롬프트의 네 가지 설정을 통해 단순 번역을 넘어 JailbreakBench(JBB)를 확장한 7개 아프리카 언어 대상 탈옥 벤치마크인 TUKABENCH를 소개하며, 언어, 문화적 그라운딩(cultural grounding), 프롬프트 회피성이 모델 안전성에 미치는 영향을 분리하여 분석한다. 폐쇄형 및 오픈형 모델 전반에서 아프리카 언어로 프롬프팅할 경우 영어 대비 거부율이 감소하며, 문화적으로 각색된 프롬프트가 가장 낮은 거부율을 보였다. 또한 본 평가는 저자원 언어에서의 모델 이해 실패와 LLM-as-a-judge 신뢰도 저하라는 두 가지 구조적 한계를 드러낸다. 첫 번째 문제를 포착하기 위해 저자들은 Refused(거부) 및 Jailbroken(탈옥)과 함께 Deflection(회피/빗겨가기)을 도입하고, 두 번째 문제를 평가하기 위해 인간 주석으로 출력을 검증하여 자원이 더 부족한 언어와 덜 보편적으로 지원되는 문자 체계에서 판정관과 인간 간의 일치도가 떨어진다는 점을 보여준다.

arXiv:2609.24801v1cs.CR

가드레일 디코딩: XAI 기반 섭동 분석을 통한 프롬프트 주입 탐지 분석

Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection

대규모 언어 모델(LLM)이 프로덕션 시스템에 점차 널리 배포됨에 따라, 프롬프트 주입(prompt injection) 및 탈옥(jailbreak) 공격을 통한 적대적 조작에 노출될 수 있다는 우려가 커지고 있습니다. Prompt Guard 2와 같은 분류기 기반 가드레일은 이러한 공격에 대한 1차 방어선으로 널리 사용되고 있으나, 그 내부 의사결정 로직은 방어자와 공격자 모두에게 대체로 불투명합니다. 본 논문은 설명 가능한 인공지능(XAI) 기법을 적용하여 Prompt Guard 2가 악성 프롬프트와 정상 프롬프트를 어떻게 구분하는지 분석하는 탐색적 사례 연구를 제시합니다. 본 연구는 이 문제를 경험적으로 조사하기 위해 네 가지 실험을 수행합니다. Vanilla Gradient 및 SHAP 어트리뷰션을 기반으로 분석한 결과, Prompt Guard 2의 결정은 소수의 지배적인 토큰보다는 다수 토큰의 누적 기여도에 의존하는 것으로 나타났습니다. 그럼에도 불구하고 중요도(saliency) 기반 동의어 대체 및 문장 수준의 패러프레이징을 적용하면 텍스트의 적당한 비율만을 변경하면서도 분류기의 예측을 뒤집을 수 있으며, 일부 경우에는 기저 LLM에 대한 탈옥에 성공하기도 했습니다. 나아가 데이터셋 규모의 중요도 분석을 통해, 탐지되지 않은 주입 프롬프트에는 분류기가 의존하는 어휘적 표지가 체계적으로 결여되어 있음을 보여줍니다. 저자들은 이러한 발견이 분류기 기반 가드레일의 설계 및 평가에 미치는 영향을 논의하며, 투명성을 지원하기 위한 설명 방법론이 오히려 성공적인 적대적 우회 공격을 구축하는 비용을 낮출 수 있다고 주장합니다.

arXiv:2607.23496v1cs.AI

LLM은 자신의 취약 시나리오를 알고 있는가?

Do LLMs Know Their Vulnerable Scenarios?

안전성 정렬(safety-aligned) 대규모 언어 모델(LLM)은 유해한 요청을 거부하도록 학습되지만, 동일한 요청을 특정 시나리오에 끼워 넣으면 이러한 안전장치를 우회할 수 있다. 기존 레드팀 테스팅(red-teaming) 방법은 관측된 공격 결과를 통해 효과적인 시나리오를 경험적으로 식별하지만, 특정 시나리오가 거부를 약화시키는 이유는 기계론적으로 불분명하다. 한편, 기계론적 해석가능성(mechanistic interpretability) 연구는 거부 방향(refusal directions)과 탈옥(jailbreak) 관련 특성(feature)을 모두 특성화했지만, 두 표현 간의 관계를 설명하지는 못했다. 본 연구에서는 시나리오로 감싼 프롬프트(scenario-wrapped prompts)가 내부 시나리오 방향을 활성화하며, 이러한 방향에 대한 인과적 조향(causal steering)이 거부 점수를 지속적으로 낮춘다는 것을 보인다. 이 발견을 바탕으로, 취약 시나리오 발견을 위한 개념 기반 귀속(attribution) 프레임워크인 Concept2Scenario를 제안한다. 이는 희소 오토인코더(sparse autoencoder)로 광범위한 개념 공간을 구현하고, 거부 억제를 개별 개념에 귀속하며, 식별된 개념을 해석 가능한 자연어 시나리오로 변환하고, 상호작용 귀속(interaction attribution)을 통해 시너지적 시나리오 조합을 식별한다. 세 개의 오픈소스 모델, 두 개의 안전성 벤치마크, 여섯 가지 블랙박스 탈옥 방법에 걸쳐, 발견된 시나리오는 재사용 가능한 사전(priors)으로 작용하여 평균 공격 성공률을 최대 18.2%p까지 향상시킨다. 또한 GPT-5, Claude-Haiku-4.5, Gemini-3-Flash에도 전이(transfer)되어, 일부 시나리오 수준의 거부 취약성은 모델 계열 간에 공유된다는 것을 시사한다. 또한 식별된 조합은 개별 구성 요소보다 우수한 성능을 보이며, 반복적 공격이 더 적은 턴(turn)으로 성공할 수 있게 한다.