arXiv:2610.15721v1 cs.LG

캐시할 것인가 말 것인가: 교차 모델 KV 캐시 재사용에서의 안전성 비호환성 이해 및 완화

To Cache or Not to Cache: Understanding and Mitigating Safety Incompatibility in Cross-Model KV Cache Reuse

Zhiwei Lin, Jiahao Liu, Yan Liu, Chengpeng Wang

제출 2026-10-11

저자 비고

arXiv Comments

17 pages, 2 figures. Code: https://github.com/Snakinya/VReparo

한국어 초록

교차 모델(cross-model) KV 캐시 공유는 수신자(receiver) 모델이 관련된 송신자(sender) 모델에서 생성된 접두 문맥(prefix) KV 상태를 재사용할 수 있도록 함으로써 프리필(prefill) 연산을 줄입니다. 기존 방법들은 이러한 재사용을 지연 시간과 생성 품질 측면에서 최적화하지만, 그에 따른 안전성(safety) 영향은 여전히 불분명합니다. 본 연구에서는 다양한 송신자-수신자 모델 쌍과 재사용 구성 전반에 걸쳐 이 문제를 체계적으로 평가합니다. 우리는 수신자 모델 고유의 안전성 동작에서 벗어나는 현상을 '안전성 비호환성(safety incompatibility)'이라고 정의합니다. 연구 결과, 안전성 비호환성의 방향과 크기는 모델 쌍과 재사용 구성에 따라 달라지며, 평가된 모든 쌍에서 value 재사용이 key 재사용보다 훨씬 더 큰 편차를 유발하는 것으로 나타났습니다. 나아가, 디코딩 전에 재사용된 송신자 value 텐서를 수신자 고유의 대응 텐서와 정렬하기 위해 층(layer)별 및 KV 헤드별 아핀 매핑(affine map)을 오프라인으로 학습하는 기법인 VReparo를 제안합니다. 전체 KV 재사용 및 최첨단 선택적 재사용 설정의 두 모델 쌍에 걸쳐, VReparo는 벤치마크에서 평균 85.62%의 첫 토큰 생성 시간(TTFT) 단축 효과를 유지하면서도 평균 HarmBench 공격 성공률(ASR)을 57.28%에서 39.21%로, 평균 StrongREJECT 점수를 0.4215에서 0.2163으로 낮춥니다.

원문 초록

Cross-model KV cache sharing reduces prefill computation by allowing a receiver model to reuse prefix KV states generated by a related sender model. Existing methods optimize such reuse for latency and generation quality, but its safety implications remain unclear. In this work, we systematically evaluate this issue across diverse sender-receiver pairs and reuse configurations. We refer to deviations from the receiver's native safety behavior as safety incompatibility. Our study shows that both the direction and magnitude of safety incompatibility depend on the model pair and reuse configuration, with value reuse causing substantially larger deviations than key reuse across all evaluated pairs. Furthermore, we propose VReparo, a technique that learns per-layer and per-KV-head affine maps offline to align reused sender value tensors with their receiver-native counterparts before decoding. Across two model pairs under full KV reuse and the state-of-the-art selective reuse setting, VReparo reduces the average HarmBench attack success rate (ASR) from 57.28% to 39.21% and the average StrongREJECT score from 0.4215 to 0.2163 upon our benchmarks, while retaining an average Time to First Token (TTFT) reduction of 85.62%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15721v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.11817v3cs.CR공통 태그 Safety Alignment, jailbreak

문법 제약 디코딩(GCD)은 LLM을 탈옥시켜 악성 코드를 생성하게 할 수 있다

Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code

대규모 언어 모델(LLM)은 코드 생성에 점점 더 많이 사용되고 있으며, 악성 코드를 생성하는 데 오용될 수 있다는 우려가 제기되고 있습니다. 한편, 문법 제약 디코딩(GCD)은 구문적 유효성을 강제하여 LLM이 생성한 코드의 신뢰성을 높이기 위해 널리 채택되었습니다. 본 논문에서 우리는 직관에 반하는 위험을 밝혀냅니다: 이러한 신뢰성 지향 기술 자체가 공격 표면이 될 수 있다는 것입니다. 우리는 GCD를 악용하여 LLM이 악성 코드를 생성하도록 유도하는 CodeSpear라는 새로운 탈옥(jailbreak) 공격을 발견했습니다. 실험 결과, 단순히 양성의 코드 문법 제약을 적용하는 것만으로도 LLM을 효과적으로 탈옥시킬 수 있음을 보여줍니다. 이러한 취약점을 해결하기 위해, 공격자가 제어하는 문법 제약 하에서도 안전한 행동을 견고하게 유지하는 안전성 정렬 접근법인 CodeShield를 제안합니다. CodeShield는 GCD 하에서 허니팟 코드를 생성하도록 모델을 학습시켜 코드 모달리티에서 모델을 정렬합니다. 이러한 코드는 의미적으로 무해하여 악의적인 요청을 구현하지 않으며, 구조적으로 다양하여 문법 강화를 통해 억제하기 어렵습니다. 동시에 CodeShield는 자연어를 사용할 수 있는 경우 자연어 거부를 여전히 보존합니다. 4개의 벤치마크에서 10개의 인기 있는 LLM을 대상으로 한 실험에 따르면, CodeSpear는 대표적인 탈옥 기준선(baselines)보다 성능이 뛰어나며 평균 공격 성공률을 30%p 이상 높입니다. 또한 CodeShield는 양성 유틸리티를 보존하면서 CodeSpear 하에서 안전성을 회복합니다. 우리의 연구 결과는 GCD의 근본적인 위험을 드러내며, 잠재적인 보안 영향에 대해 더 큰 관심을 기울일 필요가 있음을 시사합니다.

arXiv:2603.11331v4cs.LG공통 태그 Safety Alignment, jailbreak

대규모 언어 모델(LLM)을 위한 탈옥(Jailbreak) 스케일링 법칙: 다항-지수 교차

Jailbreak Scaling Laws for Large Language Models: Polynomial-Exponential Crossover

적대적 공격(adversarial attack)은 안전성에 맞춰 정렬된(safety-aligned) 대규모 언어 모델(LLM)을 안전하지 않은 행동으로 안정적으로 유도할 수 있다. 실증적으로, 우리는 적대적 프롬프트 주입(prompt-injection) 공격이 추론(inference) 시점 샘플 수에 따른 공격 성공률의 증가 양상을, 주입이 없을 때 관찰되는 느린 다항적(polynomial) 증가에서 지수적(exponential) 증가로 증폭시킬 수 있음을 발견했다. 우리는 먼저 맥락(context)에 따른 안전한 생성(generation)의 분포에 대한 소수의 가정을 제시함으로써, 이 두 가지 스케일링 법칙이 모두 성립하는 두 레짐(regime)에 대한 최소한의 통계적 메커니즘을 규명한다. 이 현상을 더 설명하기 위해, 우리는 복제 대칭성 깨짐(replica-symmetry-breaking) 영역에서 작동하는 스핀 글래스(spin-glass) 시스템의 관점에서 대리 언어(proxy language)에 대한 이론적 생성 모델(generative model)을 제안하며, 이 모델에서 생성은 연관된 깁스 측도(Gibbs measure)로부터 추출되고 저에너지이면서 크기에 편향된(size-biased) 클러스터의 부분집합이 안전하지 않은 것으로 지정된다. 우리는 이 모델이 앞서의 최소 가정들을 어떻게 자연스럽게 구현하는지 해석적으로(analytically) 보인다. 짧게 주입된 프롬프트(prompt)는 안전하지 않은 클러스터 중심 방향으로 정렬된 약한 자기장(magnetic field)에 대응하며 추론 시점 샘플 수에 따른 공격 성공률의 거듭제곱 법칙(power-law) 스케일링을 낳는 반면, 길게 주입된 프롬프트, 즉 강한 자기장은 지수적 스케일링을 낳는다. 우리는 30억(3B)에서 700억(70B)에 이르는 매개변수(parameter) 규모에 걸친 광범위한 대규모 언어 모델(LLM)들에서 질적으로 일관된 거동을 관찰한다. 특히, 주요 경향은 GCG 및 AutoDAN과 같은 다양한 공격 기법뿐만 아니라 AdvBench 및 HarmBench와 같은 벤치마크(benchmark) 데이터셋(dataset)에서도 안정적으로 유지된다.

arXiv:2610.02910v1cs.AI공통 태그 Safety Alignment, jailbreak

빈도는 민감도가 아니다: 희소 MoE 대규모 언어 모델에서 안전성에 민감한 전문가 식별

Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM

라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.

arXiv:2505.18672v2cs.LG공통 태그 Safety Alignment, jailbreak

충실한 표현 개입을 위한 개념 집중

Concept Concentration for Faithful Representation Intervention

표현 개입(representation intervention)은 대규모 언어 모델(LLM)에서 기저 개념을 인코딩하는 표현을 국소화하고 수정하여 정렬된 기대 행동을 유도하는 것을 목표로 한다. 경험적 성공에도 불구하고, 개입을 위해 충실한 개념을 국소화할 수 있는지는 아직 검토된 적이 없다. 본 연구에서는 안전성 정렬(safety alignment) 맥락에서 이 질문을 탐구한다. 개입이 충실하다면, 개입된 LLM은 유해 개념을 제거하고 분포 내(in-distribution) 적대적 프롬프트와 분포 외(out-of-distribution, OOD) 탈옥(jailbreak) 모두에 강건해야 한다. 선형 설정에서는 LLM의 무해한 유틸리티를 저하시키지 않고 유해 개념을 제거하는 것이 가능하지만, 일반적인 비선형 설정에서는 불가능함을 보인다. 이 문제를 해결하기 위해 COncept ConcentrAtion(COCA)을 제안한다. COCA는 잠재적 불안전 개념을 먼저 식별한 다음 응답을 결정하는 명시적 추론 과정으로 학습 데이터를 재구성한다. 본질적으로 COCA는 유해 표현과 무해 표현 사이의 결정 경계를 단순화하여 더 효과적인 선형 제거(linear erasure)를 가능하게 한다. 다양한 표현 개입 방법과 모델 아키텍처에 대한 광범위한 실험 결과, COCA는 분포 내 및 OOD 탈옥 성공률을 모두 크게 낮추면서 수학 및 코드 생성과 같은 일반 작업에서 강력한 성능을 유지함을 보여준다. 코드는 https://github.com/tmlr-group/COCA 에서 공개적으로 이용할 수 있다.

arXiv:2604.19274v3cs.CL공통 태그 Safety Alignment, jailbreak

HarDBench: 안전한 인간-LLM 협력 글쓰기를 위한 초안 기반 공동 저술 탈옥 공격 벤치마크

HarDBench: A Benchmark for Draft-Based Co-Authoring Jailbreak Attacks for Safe Human-LLM Collaborative Writing

대규모 언어 모델(LLM)은 협력 글쓰기에서 공동 저자로 점점 더 많이 활용되고 있으며, 사용자는 거친 초안으로 시작하여 LLM이 내용을 완성·수정·다듬도록 의존한다. 그러나 이 기능은 심각한 안전성 위협을 수반한다. 악의적인 사용자가 미완성 초안에 위험한 내용을 채워 넣는 방식으로 모델을 탈옥(jailbreak)시켜 유해한 출력을 강제로 생성하게 할 수 있다. 본 논문에서는 현재 LLM이 이러한 초안 기반 공동 저술 탈옥 공격에 취약하다는 점을 규명하고, 이 새로운 위협에 대한 LLM의 견고성을 평가하기 위해 체계적인 벤치마크인 HarDBench를 제안한다. HarDBench는 폭발물, 마약, 무기, 사이버공격 등 다양한 고위험 도메인을 포괄하며, 유해한 완성 결과에 대한 모델 취약성을 평가하기 위해 현실적인 구조와 도메인 특화 단서를 갖춘 프롬프트를 제공한다. 이 위험을 완화하기 위해 선호 최적화(preference optimization)에 기반한 안전성-유용성 균형 정렬(alignment) 방법을 제안하며, 모델이 유해한 완성은 거부하면서도 무해한 초안에는 유용하게 반응하도록 학습시킨다. 실험 결과, 기존 LLM은 공동 저술 맥락에서 매우 취약하며, 제안된 정렬 방법이 공동 저술 역량의 성능 저하 없이 유해한 출력을 크게 줄이는 것으로 나타났다. 본 연구는 인간-LLM 협력 글쓰기 환경에서 LLM을 평가하고 정렬하는 새로운 패러다임을 제시한다. 새로운 벤치마크와 데이터셋은 프로젝트 페이지(https://github.com/untae0122/HarDBench)에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.