arXiv:2607.02714v1 cs.CR

모든 거부가 동등하지 않다: 안전성 정렬이 대규모 사이버보안에서 실패하는 방식

Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale

Vadym Hadetskyi, Dario Pasquini, Artem Sorokin

제출 2026-07-02

한국어 초록

안전성 정렬(safety alignment)이 대규모 언어 모델(LLM) 학습의 필수적인 단계라는 점은 의심할 여지가 없다. 그러나 개념적으로 안전성 정렬은 다양한 도메인과 쿼리의 잠재적 위해 수준을 구분하지 않으며, 이는 모델이 합법적이고 승인된 작업의 목표를 달성하기 위해 안전 회로에 의해 제한받아서는 안 되는 사이버보안과 같은 분야에서 중대한 문제를 야기한다. 본 연구에서는 24개의 오픈소스 LLM에 대한 대규모 어블리터레이션(abliteration) 실험 결과를 공유하고, 1조 매개변수 규모의 Kimi K2를 예시로 표준 방법론을 통해 도메인 특화 어블리터레이션이 달성 가능함을 보인다. LLM의 거부(refusal)가 레이어 내 다차원 부분공간을 차지한다는 최근 연구를 토대로, 거부가 레이어 전반에 걸쳐 광범위하게 분산되어 있음을 발견하였으며, 특히 1조 매개변수 규모의 전문가 혼합(MoE) 아키텍처에서 두드러짐을 확인한다. 이에 따라 사이버보안 도메인의 유해한 개념을 독점적으로 나타내는 부분만을 포착하는 것을 목표로 한다. 또한 모델의 특성과 도메인 특화 어블리터레이션 효과 간의 상관관계를 조사하여, 안전성 학습 유형과 아키텍처가 가장 신뢰할 수 있는 예측 인자임을 확인한다. 마지막으로 모델을 3가지 어블리터레이션 민감도(abliteration susceptibility) 등급으로 분류하고, 특정 모델에서 해당 개입으로 인해 특정 효과가 관찰될 수 있는 이유에 대한 일련의 추측을 제시한다.

원문 초록

There is no doubt that safety alignment is an essential step in LLM training. However, conceptually it does not distinguish between various domains and the level of potential harm of a query, which creates significant complications in the fields like cyber security, where a model should not be constrained by its safety circuits to accomplish the goals of legitimate, authorized operations. In this work, we share our findings from a large scale abliteration experiment on 24 open-source LLMs and show that domain-specific abliteration is achievable with standard methodology on the example of a 1T-parameter Kimi K2. Building on recent work showing that refusal in LLMs occupies a multi-dimensional subspace within layers, we find that it is also distributed widely across layers, especially in trillion-parameter MoE architectures, and so we aim to capture the part of it that represents harmful concepts in the cybersecurity domain exclusively. We also investigate the correlation between models' features and the effect of domain-specific abliteration, identifying that the type of safety training and architecture are the most reliable predictors. Finally, we classify the models into 3 \emph{abliteration susceptibility} tiers and put forward a set of conjectures as to why a particular effect from this intervention might be observed in a given model.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02714v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02910v1cs.AI공통 태그 Mixture-of-Experts, Adversarial Robustness, Large Language Model, Safety Alignment

빈도는 민감도가 아니다: 희소 MoE 대규모 언어 모델에서 안전성에 민감한 전문가 식별

Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM

라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.

arXiv:2609.39788v2cs.AI공통 태그 Adversarial Robustness, Large Language Model, Safety Alignment

다중 에이전트 시스템에서 잠재 공간 통신의 안전성

Safety of Latent Communication in Multi-Agent Systems

잠재 공간 통신(Latent communication)은 다중 에이전트 시스템이 내부 표상 공간에서 직접 정보를 교환할 수 있게 하여, 텍스트 기반 통신에 수반되는 토큰, 연산 및 지연 오버헤드를 줄여줍니다. 이를 위해 발신자의 표상을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입됩니다. 본 연구에서는 기반이 되는 안전성 정렬(safety alignment) 에이전트들이 변경되지 않더라도, 정상적인 링크 학습만으로도 텍스트 기반 통신 대비 유해한 요청에 대한 순응(harmful compliance)이 증가할 수 있음을 보입니다. 공격자는 유해한 질의-응답 쌍으로 링크를 최적화하거나 정상적인 학습 데이터를 오염시킴으로써 이러한 효과를 증폭시킬 수 있습니다. 나아가 유해한 타깃 응답을 요구하지 않으면서도 정상적인 작업 성능과 유해 요청 순응을 함께 보상하는 강화학습(RL) 공격을 개발합니다. 세 가지 통신 토폴로지와 네 가지 안전성 벤치마크에 걸쳐, 이 공격은 정상적으로 학습된 링크에서의 평균 유해 순응 점수를 27.9에서 76.9로 높입니다. 직접적인 지도 최적화와 비교했을 때, 두 가지 정상 유용성 벤치마크에서도 더 높은 평균 정확도를 달성합니다. 보상을 보다 안전한 동작을 지향하도록 조정하면 침해된 링크를 복구할 수도 있어, 에이전트를 업데이트하지 않고도 평가된 모든 공격 전반에서 유해 순응을 크게 줄일 수 있습니다. 전반적으로 본 연구 결과는 안전성 정렬 시 다중 에이전트 시스템 전체를 통합적으로 고려해야 함을 보여줍니다. 코드: https://github.com/Muhammad-Huzaifaa/latent-safety

arXiv:2610.01323v1cs.AI공통 태그 Adversarial Robustness, Large Language Model, Safety Alignment

TRACE: 다중 턴 안전성을 위한 궤적 리턴 귀속 및 대조적 소거

TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety

안전성 정렬(safety alignment)을 거친 대규모 언어 모델(LLM)은 유해한 단일 요청은 종종 거부하지만, 동일한 목표가 여러 턴에 걸쳐 분산되면 요청에 순응하곤 합니다. 선호도 목적함수는 단일 프롬프트에 대한 전체 응답을 평가하므로, 해당 학습 손실만으로는 이전에 보지 못한 대화 이력에서의 위험을 제어할 수 없습니다. 본 연구의 분석에서는 지도 학습된 단일 턴 컨텍스트에서의 억제가 다중 턴 궤적 위험에 대한 상한(bound)을 산출하기 위한 충분조건을 제시합니다. 이 경계는 커버리지, 전이 여유(transfer slack), 누출을 고려하며, 학습된 정책의 컨텍스트에서 평가된 기본 정책 위험 예산 대비 수축(contraction)을 특성화합니다. TRACE(Trajectory Return Attribution and Contrastive Erasure)는 이러한 원리를 토큰 수준의 목적함수로 전환합니다. 안전한 응답에서 각 토큰은 거부 귀속 어드밴티지(refusal-attributable advantage)의 할인된 리턴에 의해 가중치가 부여됩니다. 이 어드밴티지는 고정된 참조 모델과 거부 기능이 제거된(refusal-ablated) 사본을 비교함으로써, 앞선 응답 토큰이 이후의 거부 관련 증거로부터 크레딧을 받을 수 있도록 합니다. 거부된 응답의 격차가 큰 위치에서 TRACE는 소거 대상에서 관측된 토큰과 정책이 선택한 대안을 결합합니다. 그래디언트 노름 페널티는 유지 세트(retain set)를 대체합니다. 5개의 오픈 가중치 모델과 7개의 다중 턴 공격에 걸쳐, TRACE는 총 35개의 모든 모델 및 공격 조합에서 가장 낮은 공격 성공률(ASR)을 기록했으며, MMLU 및 HellaSwag에서 평가된 모델 유용성 하락은 최대 1.23점에 불과했습니다. 소스 코드는 보충 자료에서 확인할 수 있습니다.

arXiv:2610.13370v1cs.CL공통 태그 Mixture-of-Experts, Large Language Model

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.