v2 관련 안내(2026년 11월): 평가 코드에서 오류가 발견되어 v1에 보고된 실험 결과는 뒷받침되지 않는다. 이론적 따름정리는 영향을 받지 않는다. 자세한 내용은 1쪽의 공지와 링크된 저장소의 KNOWN_ISSUES.md에 있다. 우리는 7개의 지시 튜닝 모델(7-31B)과 5가지 공격 유형(GCG, AutoDAN, DeepInception, prefilling, intent laundering)에 걸쳐 5가지 추론 시점 안전 패러다임(방어 없음, 정적 스티어링, CAST, AlphaSteer, 프로브 게이트 스티어링)을 비교한다. 우리는 하나의 따름정리를 도출한다. 개입 여부를 단일 층의 활성화가 양성 참조(원뿔, 부분공간 또는 영공간)와 정렬되는지에 따라 결정하는 방어는, 프롬프트 시점에 검사하든 토큰별로 검사하든, 활성화가 그 참조 내부에 놓이도록 조작하는 공격에 대해 맹점을 가진다. prefilling 공격에 대해서는 응답 시점 프로빙(response-time probing)을 제안하는데, 이는 처음 생성되는 토큰들의 은닉 상태에 대한 선형 프로브와 중단(halt)을 결합한 것이며, 이 중단을 AlphaSteer의 영공간 스티어링과 결합한다. 또한 MMLU가 스티어링의 유용성 비용을 포착하는지, 그리고 음성 학습 집합의 다양성이 프로브의 거짓 양성률에 어떤 영향을 미치는지도 살펴본다. 코드, 공격, 샘플별 결과를 공개한다.
전문가 혼합(MoE) 언어 모델은 희소 라우팅 메커니즘으로 인해 안전성(safety) 정렬(alignment)에서 고유한 과제를 유발하며, 이는 표준 전체 매개변수 미세조정 하에서 퇴행적인 최적화 동작을 발생시킬 수 있습니다. 예비 실험에서 MoE 모델에 전체 매개변수 안전성 미세조정을 단순 적용할 경우, 안전에 중요한 전문가(Safety-Critical Experts)를 직접 수정하기보다는 라우팅이나 특정 전문가 지배 효과를 통해 공격 성공률을 낮추는 현상이 관찰되었습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 안전에 중요한 전문가를 명시적으로 수정하는 동시에 라우팅 기반 우회를 방지하는 라우팅 인식 전문가 수준 정렬 프레임워크인 RASA를 제안합니다. RASA는 성공적인 탈옥(jailbreak)에 의해 불균형적으로 활성화되는 전문가를 식별하고, 고정된 라우팅 하에서 이러한 전문가들만 선택적으로 미세조정한 후 안전성이 정렬된 문맥과의 라우팅 일관성을 강제합니다. 두 가지 대표적인 MoE 아키텍처와 다양한 탈옥 공격에 걸쳐 RASA는 MMLU, GSM8K, TruthfulQA와 같은 벤치마크에서 일반적인 성능을 유지하면서도 완벽에 가까운 강건성, 강력한 공격 간 일반화 성능, 그리고 크게 감소된 과도한 거부(over-refusal)율을 달성합니다. 실험 결과는 강건한 MoE 안전성 정렬이 전역 매개변수 업데이트보다 표적화된 전문가 수정으로부터 이점을 얻음을 시사하며, 기존 접근법에 대한 실용적이고 아키텍처 보존적인 대안을 제시합니다.
에이전트 하네스(agent harness)는 안전하지 않은 행동을 방지하기 위한 안전성(safety) 제약 조건을 강제함으로써 방어에서 중요한 역할을 수행합니다. 그러나 급격히 등장하는 새로운 공격들은 수동적인 하네스 적응 속도를 앞지르고 있어, 자동화된 하네스 진화의 필요성을 부각합니다. 하지만 위협 보고서나 프리프린트(preprint)에 기재된 짤막한 설명이나 소수의 공격 사례처럼, 하네스 진화에 사용할 수 있는 신호는 종종 희소(sparse)합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 안전 사양 생성과 공격 사례 생성 간의 적대적 상호작용을 통해 희소한 위협 증거로부터 에이전트 하네스를 진화시키는 다중 에이전트 프레임워크인 HASTE를 소개합니다. 안전 사양은 하네스 업데이트가 식별된 안전 취약점을 해결하도록 유도하며, 공격 사례는 각 업데이트 이후 잔여 안전 취약점을 탐색합니다. 평가(evaluation) 결과를 두 프로세스 모두에 피드백함으로써, HASTE는 초기에 관찰된 증거를 넘어 새롭게 등장하는 공격에 맞서 하네스를 진화시킬 수 있도록 합니다. 다양한 백본 모델, 공격 유형 및 증거 형태에 걸친 실험 결과는 HASTE가 정상 작업(benign-task)의 유용성을 보존하면서도 공격 성공률을 일관되게 낮춤을 보여줍니다. 코드는 https://github.com/xxiqiao/HASTE 에서 확인할 수 있습니다.
안전성 정렬(safety alignment)을 거친 대규모 언어 모델(LLM)은 유해한 단일 요청은 종종 거부하지만, 동일한 목표가 여러 턴에 걸쳐 분산되면 요청에 순응하곤 합니다. 선호도 목적함수는 단일 프롬프트에 대한 전체 응답을 평가하므로, 해당 학습 손실만으로는 이전에 보지 못한 대화 이력에서의 위험을 제어할 수 없습니다. 본 연구의 분석에서는 지도 학습된 단일 턴 컨텍스트에서의 억제가 다중 턴 궤적 위험에 대한 상한(bound)을 산출하기 위한 충분조건을 제시합니다. 이 경계는 커버리지, 전이 여유(transfer slack), 누출을 고려하며, 학습된 정책의 컨텍스트에서 평가된 기본 정책 위험 예산 대비 수축(contraction)을 특성화합니다. TRACE(Trajectory Return Attribution and Contrastive Erasure)는 이러한 원리를 토큰 수준의 목적함수로 전환합니다. 안전한 응답에서 각 토큰은 거부 귀속 어드밴티지(refusal-attributable advantage)의 할인된 리턴에 의해 가중치가 부여됩니다. 이 어드밴티지는 고정된 참조 모델과 거부 기능이 제거된(refusal-ablated) 사본을 비교함으로써, 앞선 응답 토큰이 이후의 거부 관련 증거로부터 크레딧을 받을 수 있도록 합니다. 거부된 응답의 격차가 큰 위치에서 TRACE는 소거 대상에서 관측된 토큰과 정책이 선택한 대안을 결합합니다. 그래디언트 노름 페널티는 유지 세트(retain set)를 대체합니다. 5개의 오픈 가중치 모델과 7개의 다중 턴 공격에 걸쳐, TRACE는 총 35개의 모든 모델 및 공격 조합에서 가장 낮은 공격 성공률(ASR)을 기록했으며, MMLU 및 HellaSwag에서 평가된 모델 유용성 하락은 최대 1.23점에 불과했습니다. 소스 코드는 보충 자료에서 확인할 수 있습니다.
양자화된 대규모 언어 모델(qLLM)은 낮은 지연 시간과 에너지 효율성 덕분에 엣지 디바이스에 점점 더 널리 배포되고 있습니다. 그러나 모델 양자화(quantization)는 정렬(alignment) 안전장치를 약화시켜 qLLM을 탈옥(jailbreak) 공격에 매우 취약하게 만듭니다. 이러한 문제를 해결하기 위해, 구조화된 지식 검색과 저전력 방어 가속을 결합한 하드웨어 강화 안전성(safety) 프레임워크인 MOMAT(Mixture of Multiple Atlases)을 제안합니다. 각 지도(atlas)는 유해하거나 무해한 샘플 세트 및 정책 템플릿의 의미론적 클러스터를 나타내며, 대규모의 이종 안전성 데이터베이스에서 차원의 저주와 그로 인한 의미론적 희소성(sparsity) 문제를 완화하는 도메인 국소화된 검색-증강 생성(RAG) 가드를 가능하게 합니다. MOMAT은 각 프롬프트(prompt)에 대해 모든 아틀라스로부터 상위 $k$개 유사도 특징을 검색하고 경량 전문가 혼합(MoE) 탐지기를 사용하여 이를 평가하며, CiM(Compute-in-Memory) 가속 유사도 엔진이 빠르고 전력 소모가 적은 아틀라스 국소 검색을 수행합니다. MOMAT의 CiM 기반 검색은 100개 쿼리 배치(batch) 처리를 15,052.44 ms에서 3,207.21 ns로 가속화($4.69 \times 10^6\times$ 속도 향상)하고, 에너지를 $8.1 \times 10^7$ $\mu$J에서 3.32 $\mu$J로 줄여 DRAM 기반(Raspberry Pi) 베이스라인 대비 약 $2.5 \times 10^5\times$의 에너지 절감을 달성합니다. 표준 벤치마크에 걸친 레드팀 테스팅(red-teaming) 평가 결과, MOMAT은 정상적인 입력에 대한 과잉 차단(benign overkill)을 방지하고 상당한 효율성 향상을 제공하면서도 최첨단 기법들의 방어 성능과 대등함을 보여주며, CiM 기반 모듈식 방어가 엣지에 배포된 qLLM을 더 안전하고 에너지 효율적으로 만들 수 있음을 입증합니다. 향후 연구를 촉진하기 위해 223.2k개 샘플로 구성된 전체 데이터셋(dataset)을 공개할 예정입니다.
대규모 추론 모델(LRM)은 명시적인 사고의 연쇄(CoT) 추론과 넓은 컨텍스트 윈도우(context window)에 의존하여 복잡한 작업에서 강력한 성능을 달성하지만, 이러한 특징은 새로운 공격 표면(attack surface)도 유발합니다. 본 논문에서는 명시적인 CoT 추론 궤적이 포함된 역정렬(counter-aligned) 퓨샷(few-shot) 대화를 앞에 추가함으로써 LRM의 추론 과정을 체계적으로 유도할 수 있음을 보이며, 이는 유해한 질의에 대한 안전하지 않은 생성과 무해한 질의에 대한 부당한 거부로 이어집니다. 우리는 이를 유연한 대화형 인터페이스만을 통해 작동하고 모델의 파라미터 및 그래디언트에 대한 접근이 필요 없는 SRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)로 공식화합니다. 핵심 통찰은 SRCF가 표현 드리프트(representation drift)를 유발하는 적대적 일반화 문제를 악용하여 무해한 입력과 유해한 입력의 표현을 유사한 방향으로 이동시킨다는 점입니다. 이러한 관찰을 바탕으로, 정렬된 타깃을 강제하면서 역정렬 대화형 컨텍스트에 모델을 노출하는 사후 학습(post-training) 방어 기법인 ARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)를 제안합니다. ARCF는 기존 사후 학습 방법과 호환되며 유용성(utility) 저하 없이 안전성(safety)과 유용함(helpfulness)을 일관되게 향상합니다.
대규모 언어 모델(LLM)은 다양한 응용에서 인상적인 성능을 보이지만, 유해하거나 의도하지 않은 콘텐츠를 유도하는 탈옥(jailbreak) 공격에 취약하다. 안전성 정렬(alignment)을 위해 모델 미세조정을 선택할 수 있지만, 비용이 크고 치명적 망각(catastrophic forgetting)에 취약하다. 프롬프트 최적화가 유망한 대안으로 부상했지만, 기존 프롬프트 기반 방어는 일반적으로 고정 접두사나 접미사 같은 정적 수정에 의존하여 다양하고 진화하는 공격에 적응할 수 없다. 우리는 deep prompt optimization에 기반한 최초의 탈옥 방어인 Dynamic Deep Prompt Optimization(DDPO)를 제안한다. DDPO는 대상 LLM의 중간 층을 특징 추출기로 사용하여 경량 다층 퍼셉트론을 통해 방어용 임베딩을 동적으로 생성한다. 이렇게 맞춤형으로 생성된 임베딩은 이후 중간 층에 주입되어, LLM의 가중치를 수정하지 않으면서 입력 의존적 방어를 가능하게 한다. 이러한 설계는 최소한의 계산 부담으로 높은 적응성을 보장한다. 다양한 모델과 공격에 대한 실험에서 DDPO는 정적 프롬프트 최적화 방법보다 현저히 우수하며, 특히 정렬이 약한 모델과 의미적으로 모호한 무해한 프롬프트를 다룰 때 실제로 유해한 요청과 이를 성공적으로 구분한다.
사용자가 언어 모델에게 유해한 내용을 물어볼 때, 그것이 진짜 공격인지 아니면 오해에서 비롯된 선의의 질문인지 판단하기 어렵다. 이러한 모호성은 LLM 안전성의 핵심 과제 중 하나이다. 최악을 가정하는 모델은 정당한 사용자에게 피해를 주고, 최선을 가정하는 모델은 쉽게 악용된다. 이 문제는 다중 턴 대화에서 더욱 심화되는데, 공격자의 진짜 의도는 여러 번의 교환에 걸쳐서야 서서히 드러날 수 있지만, 기존 안전성 프레임워크는 문맥적 bandit 방식을 적용하여 대화의 궤적을 무시한다. 이를 위해 우리는 대화의 매 턴마다 사용자 의도를 추론함으로써 이 문제를 해결하는 프레임워크인 Dialogue Critic Guided Sampling(DCGS)를 제안한다. 안전하거나 위험한지에 대한 고정된 규칙을 적용하는 대신, DCGS는 전체 대화 이력을 바탕으로 사용자 의도가 무엇일 가능성이 높은지 학습하고 이에 따라 응답을 생성한다. 형식적으로, 우리는 적대적 대화를 마르코프 결정 과정으로 모델링하고, 개별 토큰 수준과 발화(전체 응답) 수준 모두에서 가치 및 후회(regret) 기반 크리틱을 학습하며, 행동-가치(action-value) 크리틱을 통해 후보 응답을 점수화한다. 우리는 이러한 추론 시점 재가중화가 기본 정책의 지수 기울임(exponential tilting)을 근사함을 증명하며, 이는 임의의 유한 후보 풀에 대해 기대 수익(expected return)의 개선을 보장하는데, 이는 그룹 상대적(group-relative) 목적함수가 갖지 못하는 성질이다. CARES-18k, WildJailbreak, Redbench, Harmbench에서 평가한 결과, DCGS는 적대적 대화 과제에서 강력한 견고성 기준선 및 최첨단(frontier) 모델들을 능가한다. DCGS는 최첨단 모델에도 전이되어, 미세조정 없이 그들의 견고성을 향상시킨다.
대규모 언어 모델(LLM)의 최근 발전으로 일상 애플리케이션에서 널리 채택되고 있다. 인상적인 능력에도 불구하고, 동의어 치환과 같은 의미를 보존하는 사소한 변경만으로도 잘못된 예측으로 이어질 수 있어 적대적 공격(adversarial attack)에 취약하다. 따라서 이러한 적대적 프롬프트에 대한 LLM의 견고성을 인증하는 것은 매우 중요하다. 기존 접근법은 견고성 인증을 위해 단어 삭제 또는 단순 디노이징 전략에 집중했다. 그러나 이러한 방법은 두 가지 중요한 한계에 직면한다: (1) 교란된 출력에 대한 의미적 검증 부족으로 인해 느슨한 견고성 경계를 산출하고, (2) 반복적 샘플링으로 인해 높은 계산 비용이 발생한다. 이러한 한계를 해결하기 위해, 클러스터링 기반 디노이징 스무딩을 통한 LLM 견고성 인증을 위한 새로운 프레임워크인 CluCERT를 제안한다. 구체적으로, 더 타이트한 인증 경계를 달성하기 위해, 이론적 분석을 뒷받침하여 노이즈 샘플을 줄이고 의미 있는 교란을 유지하는 의미적 클러스터링 필터를 도입한다. 또한 핵심 의미를 추출하는 정제(refine) 모듈과 디노이징 과정을 가속하는 빠른 동의어 치환 전략이라는 두 가지 메커니즘을 통해 계산 효율성을 향상시킨다. 마지막으로, 다양한 다운스트림(downstream) 작업과 jailbreak 방어 시나리오에서 광범위한 실험을 수행했다. 실험 결과, 우리 방법이 견고성 경계와 계산 효율성 모두에서 기존 인증 접근법보다 우수함을 보여준다.
최신 AI 모델조차도 유해 의도가 이미지에 숨겨진 멀티모달 쿼리에 취약한 경우가 많다. 안전성 정렬(alignment)을 위한 널리 쓰이는 접근은 대규모 멀티모달 안전 데이터셋으로 학습하는 것이지만, 데이터 큐레이션과 학습 비용이 종종 감당하기 어렵다. 이를 완화하기 위해 최근 추론 시점 정렬(inference-time alignment)이 연구되었으나, 다양한 멀티모달 jailbreak에 걸쳐 일반화되지 못하는 경우가 많고, 응답 정제를 위한 추가 순전파(forward pass)나 무거운 배포 전 보정(calibration) 절차로 인해 여전히 상당한 오버헤드가 발생한다. 본 연구에서는 멀티모달 안전 실패의 핵심 원인 중 하나로 안전에 중요한 이미지 영역에 대한 시각적 어텐션 부족을 지적한다. 이 통찰을 바탕으로 Multimodal Risk-Adaptive Steering(MoRAS)을 제안하며, 간결한 시각적 컨텍스트를 통해 안전에 중요한 시각적 어텐션을 강화하여 정확한 멀티모달 위험 평가를 가능하게 한다. 이 위험 신호는 위험 적응형 스티어링을 통해 직접 거절을 가능하게 하여, 다양한 멀티모달 jailbreak에 일반화 가능성을 유지하면서 추론 오버헤드를 줄인다. 특히 MoRAS는 멀티모달 위험을 추정하기 위해 소규모 보정 세트만 필요하여 배포 전 오버헤드를 크게 줄인다. 여러 벤치마크와 MLLM 백본에 걸쳐 다양한 실증 검증을 수행한 결과, 제안한 MoRAS가 최첨단 추론 시점 방어 수단 대비 jailbreak를 지속적으로 완화하고 유틸리티를 보존하며 계산 오버헤드를 줄이는 것을 확인했다.
심리측정 성격 특성(Big Five)에서 추출한 66개의 유해-무관 문장만으로 잠재 공간에서 적대적 학습을 수행하는 Latent Personality Alignment(LPA)를 제안하며, 성격 기반 표현이 유해 회피와 잠재 구조를 공유한다는 가설을 활용해 탈옥(jailbreak) 공격에 노출되지 않고도 HarmBench에서 공격 성공률을 거의 0으로 낮춘다. 표준 LAT 대비 75배 적은 데이터와 단일 GPU에서 수 분 내 학습이 완료되는 경량 방식으로, 표준 벤치마크 성능 손실 없이 강건한 안전성 정렬(safety alignment)을 달성한다.
텍스트-이미지 확산 모델에서 무해해 보이는 프롬프트가 암묵적 시각 연관성을 통해 금지된 이미지를 유도하는 시각적 동의어 공격(VSA)을 방어하기 위해, 소수의 의미 주입 어텐션 헤드가 추론 시점의 병목임을 메커니즘 분석으로 규명하고 해당 헤드에만 유사도 인식 반발을 적용하는 추론 시점 방어 기법 AEGIS를 제안한다. 16개 베이스라인 대비 SD 1.4에서 도메인 내 VSA 공격 성공률을 0.00/0.03까지 낮추면서 무해한 개념의 생성 품질을 보존하고, SD 2.1 및 FLUX.1로의 전이 가능성도 확인하였다.
대규모 언어 모델(LLM)이 시스템 프롬프트와 사용자 프롬프트 간 충돌 지시를 처리할 때 명시적 추론을 먼저 수행하도록 인스트럭션 계층(instruction hierarchy) 해결을 메타 추론 태스크로 재정의하고, 검증 가능한 정답을 포함한 학습 데이터셋 VerIH와 강화학습(RLVR)으로 파인튜닝한 결과, 충돌 설정에서 약 20%p의 절대적 성능 향상과 jailbreak·프롬프트 인젝션 공격 성공률을 최대 20%p 감소시키는 효과를 달성했다.
대규모 언어 모델(LLM)은 생성 추론 및 긴 문맥(long-context) 작업에서 이전 아키텍처보다 우수한 성능을 보이지만, 그 큰 크기로 인해 메모리 사용량, 에너지 비용 및 온디바이스 배포에 있어 중대한 문제를 야기합니다. 사전학습된 언어 모델의 스케일링이 다운스트림(downstream) 성능을 향상시키기 때문에 \cite{zhao2023survey}, 키-값(KV) 캐시는 지배적인 추론 병목이 됩니다. 최근 KV 캐시 압축 방법 \cite{jo2025fastkv,li2024snapkv,zhou2024dynamickv}은 어텐션(attention) 관련 토큰의 일부만 유지함으로써 이 비용을 줄입니다. 그러나 이러한 접근 방식은 정상적인(benign) 워크로드에서 정확도를 유지하지만, 그 압축 정책은 탈옥(jailbreak) 공격에 대한 방어에 실패하거나 \cite{jiang2024robustkv}, 공격적인 제거(eviction) 시 안전성 정렬(safety alignment)을 저하시킵니다. 본 연구에서는 토큰 유지 점수를 유해한 프롬프트와 관련된 키(key) 공간의 방향에서 멀어지도록 편향시키는 KV 캐시 압축에 대한 드롭인(drop-in) 수정 방식인 AnchorKV를 제안합니다. AnchorKV는 KV 캐싱에 사용되는 층(layer)별 키 투영 공간에 평균 차이(difference-of-means) 표현 엔지니어링 접근법 \cite{arditi2024refusal,zou2023representation}을 적용하여 오프라인 안전성 앵커를 구축합니다. 이 앵커를 기반으로, 소프트 페널티 토큰 선택 규칙은 소량의 유틸리티(utility)를 희생하여 안전성 정렬을 현저히 향상시키며, 페널티가 0일 때는 원본 압축기로 축소됩니다.