arXiv:2610.10625v1 cs.CR

한 루프에서는 안전하고 다른 루프에서는 위험하다: 루프형 언어 모델의 순환 깊이 전반에 걸친 안전성 정렬

Safe at One Loop, Risky at Another: Aligning Safety Across Recurrent Depths in Looped Language Models

Yi Wang, Xiuyuan Qi, Dongqi Han, Dongsheng Li, Wenjie Wang

제출 2026-10-07

저자 비고

arXiv Comments

25 pages, 6 figures. Submitted to ICLR 2027

한국어 초록

루프형 언어 모델(Looped Language Model, LoopLM)은 순환 단계 전반에서 공유 매개변수를 반복적으로 사용하여 모델 역량을 확장하는 매개변수 효율적인 접근법을 제공합니다. 각 순환 깊이(recurrent depth)를 독립적으로 판독할 수 있기 때문에, 단일 LoopLM은 추론 깊이에 걸쳐 더 넓은 출력 공간을 드러내며, 이는 순환 연산 전반에서 안전성이 유지되는지에 대한 중요한 질문을 제기합니다. 이전 평가에서는 더 깊은 순환이 유해한 쿼리에 대한 안전성을 향상시킬 수 있음을 시사하지만, 탈옥(jailbreak) 공격에 대한 강건성은 여전히 불분명합니다. 이에 따라 본 연구에서는 서로 다른 순환 깊이를 겨냥한 탈옥 공격 하에서 LoopLM에 대한 포괄적인 안전성 평가를 수행합니다. 연구 결과, 더 깊은 추론 깊이에서 공격 성공률이 증가할 수 있으며, 동일한 쿼리가 깊이에 따라 서로 다른 안전성 동작을 유발할 수 있고, 특정 깊이를 대상으로 구성된 공격이 다른 깊이로 전이될 수 있음을 확인했습니다. 더욱이 지도 미세조정(SFT)과 선호도 정렬(preference alignment)만으로는 이러한 안전성 격차를 해소하지 못하며, 이는 LoopLM에 맞게 설계된 정렬 기법의 필요성을 시사합니다. 본 연구는 공유된 순환 계층에 대한 경량 깊이별 제어, 선택적 상태 브리징(state bridging), 순환 깊이 전반에 걸친 공동 안전성 감독을 결합한 SafeBridge를 제안합니다. 다양한 모델 규모, 다수의 공격 방식, 안전성 벤치마크 전반에 걸쳐 SafeBridge는 동일 깊이 및 교차 깊이 공격 모두에서 공격 성공률을 대폭 감소시킵니다. 또한 기존 바닐라 모델 대비 전반적인 유용성을 개선하는 동시에 유사한 수준의 과도한 거부(over-refusal) 동작을 유지합니다. 본 결과는 LoopLM의 안전성을 단일 순환 깊이만으로 추론할 수 없음을 보여주며, 순환 연산 전반에 걸친 안전성 정렬의 필요성을 강조합니다. 본 논문의 코드와 모델 체크포인트는 게재 승인 시 공개될 예정입니다.

원문 초록

Looped Language Models (LoopLMs) provide a parameter efficient approach to scaling model capabilities through repeated use of shared parameters across recurrent steps. Since each recurrent depth can be read out independently, a single LoopLM exposes a broader output space across inference depths, raising an important question: whether safety is preserved throughout recurrent computation. Prior evaluations suggest that deeper recurrence can improve safety on harmful queries, but robustness under jailbreak attacks remains unclear. We therefore conduct a comprehensive safety evaluation of LoopLMs under jailbreak attacks targeting different recurrent depths. We find that attack success can increase at deeper inference depths, the same query can elicit different safety behaviors across depths, and attacks constructed against one depth can transfer to others. Moreover, SFT and preference alignment do not eliminate these safety gaps, motivating an alignment method designed for LoopLMs. We introduce SafeBridge, which combines lightweight depth specific control of shared recurrent layers, selective state bridging, and joint safety supervision across recurrent depths. Across model scales, multiple attack methods, and safety benchmarks, SafeBridge substantially reduces attack success for both matched-depth and cross-depth attacks. It also improves general utility over the vanilla models while maintaining comparable over-refusal behavior. Our results show that the safety of a LoopLM cannot be inferred from a single recurrent depth, motivating safety alignment across recurrent computation. Our code and model checkpoints will be released upon acceptance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10625v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39788v2cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, Safety Alignment

다중 에이전트 시스템에서 잠재 공간 통신의 안전성

Safety of Latent Communication in Multi-Agent Systems

잠재 공간 통신(Latent communication)은 다중 에이전트 시스템이 내부 표상 공간에서 직접 정보를 교환할 수 있게 하여, 텍스트 기반 통신에 수반되는 토큰, 연산 및 지연 오버헤드를 줄여줍니다. 이를 위해 발신자의 표상을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입됩니다. 본 연구에서는 기반이 되는 안전성 정렬(safety alignment) 에이전트들이 변경되지 않더라도, 정상적인 링크 학습만으로도 텍스트 기반 통신 대비 유해한 요청에 대한 순응(harmful compliance)이 증가할 수 있음을 보입니다. 공격자는 유해한 질의-응답 쌍으로 링크를 최적화하거나 정상적인 학습 데이터를 오염시킴으로써 이러한 효과를 증폭시킬 수 있습니다. 나아가 유해한 타깃 응답을 요구하지 않으면서도 정상적인 작업 성능과 유해 요청 순응을 함께 보상하는 강화학습(RL) 공격을 개발합니다. 세 가지 통신 토폴로지와 네 가지 안전성 벤치마크에 걸쳐, 이 공격은 정상적으로 학습된 링크에서의 평균 유해 순응 점수를 27.9에서 76.9로 높입니다. 직접적인 지도 최적화와 비교했을 때, 두 가지 정상 유용성 벤치마크에서도 더 높은 평균 정확도를 달성합니다. 보상을 보다 안전한 동작을 지향하도록 조정하면 침해된 링크를 복구할 수도 있어, 에이전트를 업데이트하지 않고도 평가된 모든 공격 전반에서 유해 순응을 크게 줄일 수 있습니다. 전반적으로 본 연구 결과는 안전성 정렬 시 다중 에이전트 시스템 전체를 통합적으로 고려해야 함을 보여줍니다. 코드: https://github.com/Muhammad-Huzaifaa/latent-safety

arXiv:2610.01323v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, Safety Alignment

TRACE: 다중 턴 안전성을 위한 궤적 리턴 귀속 및 대조적 소거

TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety

안전성 정렬(safety alignment)을 거친 대규모 언어 모델(LLM)은 유해한 단일 요청은 종종 거부하지만, 동일한 목표가 여러 턴에 걸쳐 분산되면 요청에 순응하곤 합니다. 선호도 목적함수는 단일 프롬프트에 대한 전체 응답을 평가하므로, 해당 학습 손실만으로는 이전에 보지 못한 대화 이력에서의 위험을 제어할 수 없습니다. 본 연구의 분석에서는 지도 학습된 단일 턴 컨텍스트에서의 억제가 다중 턴 궤적 위험에 대한 상한(bound)을 산출하기 위한 충분조건을 제시합니다. 이 경계는 커버리지, 전이 여유(transfer slack), 누출을 고려하며, 학습된 정책의 컨텍스트에서 평가된 기본 정책 위험 예산 대비 수축(contraction)을 특성화합니다. TRACE(Trajectory Return Attribution and Contrastive Erasure)는 이러한 원리를 토큰 수준의 목적함수로 전환합니다. 안전한 응답에서 각 토큰은 거부 귀속 어드밴티지(refusal-attributable advantage)의 할인된 리턴에 의해 가중치가 부여됩니다. 이 어드밴티지는 고정된 참조 모델과 거부 기능이 제거된(refusal-ablated) 사본을 비교함으로써, 앞선 응답 토큰이 이후의 거부 관련 증거로부터 크레딧을 받을 수 있도록 합니다. 거부된 응답의 격차가 큰 위치에서 TRACE는 소거 대상에서 관측된 토큰과 정책이 선택한 대안을 결합합니다. 그래디언트 노름 페널티는 유지 세트(retain set)를 대체합니다. 5개의 오픈 가중치 모델과 7개의 다중 턴 공격에 걸쳐, TRACE는 총 35개의 모든 모델 및 공격 조합에서 가장 낮은 공격 성공률(ASR)을 기록했으며, MMLU 및 HellaSwag에서 평가된 모델 유용성 하락은 최대 1.23점에 불과했습니다. 소스 코드는 보충 자료에서 확인할 수 있습니다.

arXiv:2610.00341v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, jailbreak attack

UnifiedAttack: 시너지 유해 이미지-텍스트 생성에서 대규모 멀티모달 모델의 안전성 평가

UnifiedAttack: Evaluating the Safety of Large Multimodal Models in Synergistic Harmful Image-Text Generation

대규모 멀티모달 모델(LMM)이 네이티브 통합 아키텍처로 전환됨에 따라, 시너지 효과를 내는 유해 이미지-텍스트 생성 작업에서 이들의 안전성을 평가하는 것은 중요한 과제가 되었습니다. 단일 모달 위협과 달리, 시너지 위험은 텍스트와 이미지 모달리티가 조율되어 개별 구성 요소를 크게 초과하는 유해성을 생성할 때 발생합니다. 본 논문에서는 크로스 모달 시너지를 통해 달성되는 유해성 이득에 초점을 맞추어 협력적 시나리오에서 LMM 안전성을 평가하도록 설계된 새로운 벤치마크인 UnifiedAttack을 소개합니다. 이 벤치마크는 멀티모달 잠재력을 기준으로 필터링된 샘플과 함께 합성된 허위 정보 쿼리의 새로운 하위 집합을 포함합니다. 식별된 취약점을 검증하기 위해, 문맥 내 리스킨(In-Context Reskinning, ICR)과 인지 계획 주입(Cognitive Planning Injection, CPI)을 특징으로 하는 시너지 하이재킹 프레임워크를 제안합니다. ICR은 퓨샷(few-shot) 학습을 활용하여 적대적 의도를 무해한 가상 외피로 감싸 안전성 필터를 둔감화하며, CPI는 계획 후 실행(plan-then-execute) 패러다임을 강제하여 추론 경로를 가로챕니다. 시스템이 중립적인 논리적 계획을 따르도록 강제함으로써, 내부의 일관성 유지 성향을 악용하여 유해한 멀티모달 콘텐츠의 동기화된 생성을 유도합니다. 최신 아키텍처에 대한 광범위한 평가는 UnifiedAttack이 현대의 정렬(alignment)을 일관되게 우회함을 보여줍니다. 본 연구 결과는 통합 모델의 구조적 유용성과 논리적 일관성이 체계적으로 무기화될 수 있음을 밝히며, 시너지 생성 작업에서 논리 인식 방어의 시급한 필요성을 강조합니다. 코드는 https://github.com/bingjunluo/UnifiedAttack 에서 확인할 수 있습니다.

arXiv:2607.08883v1cs.LG공통 태그 Adversarial Attack, Adversarial Robustness, Safety Alignment

안전성 표현에 대한 최적화: 활성화 기반 적대적 접미사와 거부의 기하학

Optimizing Against Safety Representations: Activation-Guided Adversarial Suffixes and the Geometry of Refusal

대규모 언어 모델(LLM)의 행동적 정렬(alignment)은 종종 내부의 취약한 안전성(safety) 표현을 감추고 있다. 최근 연구에 따르면 거부 행동은 활성화 공간의 저차원 방향에 의해 매개된다고 한다. 이는 그러한 표현이 어떻게 구조화되고, 국소화되며, 최적화에 의해 접근되는지에 대한 의문을 제기한다. 우리는 적대적 접미사 공격을 표현적 정렬의 탐침(probe)으로 연구한다. 우리는 Activation-Guided GCG를 소개하는데, 이는 출력 기반 목적함수를 모델의 내부 거부 방향을 직접 겨냥하는 손실로 대체한다. 여러 목적함수 변형에 걸쳐, 모든 층(layer)과 위치에 걸쳐 전역적으로 거부를 억제하는 것이 단일 층-위치 쌍을 타겟으로 하는 것보다 더 효과적임을 발견한다. 이는 안전성 표현이 단일 위치에 인과적으로 국소화되기보다 순전파(forward pass) 전반에 걸쳐 분산되어 있음을 시사한다. 우리는 또한 Gumbel-소프트맥스(Gumbel-Softmax)를 사용한 이산 접미사 최적화의 연속 완화 방법인 Soft-GCG를 소개한다. Soft-GCG는 표준 GCG 대비 33배의 속도 향상을 달성하면서 공격 성공률도 향상시킨다. 모델 규모에 걸쳐 평가한 결과, 소규모 모델은 취약한 상태를 유지하는 반면 대규모 모델은 컴퓨팅 제약 환경에서 활성화 기반 및 접미사 기반 공격 모두에 저항함을 발견하였으며, 이는 더 크고 안전성 학습이 잘 된 모델이 탈옥(jailbreak)하기 더 어렵다는 것과 일치한다. 종합하면, 우리의 결과는 현재 모델에서 안전성 메커니즘이 어떻게 인코딩되고 어떻게 깨질 수 있는지를 명확히 한다. 이러한 통찰은 보다 강건하고 표현 인식적인 정렬 전략을 설계하기 위한 구체적인 지침을 제공한다.

arXiv:2607.07918v1cs.LG공통 태그 Adversarial Attack, Adversarial Robustness, Safety Alignment

잠재 성격 특성을 통한 효율적인 언어 모델 안전성 정렬

Efficient Safety Alignment of Language Models via Latent Personality Traits

현재 대규모 언어 모델(LLM)의 안전성 기법들은 적대적 공격에 취약한 것으로 알려져 있어, 강건한 대안에 대한 연구가 활발히 진행되고 있다. 잠재 적대적 학습(Latent Adversarial Training, LAT)은 가장 효과적인 방어 기법 중 하나이지만, 유용성을 저하시킬 수 있으며 대규모 유해 프롬프트 데이터셋으로의 학습을 필요로 한다. 우리는 명시적인 유해 거부 방식을 심리측정 성격 문헌에서 추출한 단 66개의 유해-무관 문장에 대한 적대적 학습으로 대체하는 잠재 성격 정렬(Latent Personality Alignment, LPA)을 제안한다. 우리는 성격 기반 표현이 유해 회피와 잠재 구조를 공유하므로, 이를 적대적으로 안정화하면 탈옥(jailbreak) 공격이 활용하는 부분 공간을 암묵적으로 제약할 수 있다는 가설을 제시한다. LPA는 학습 과정에서 유해 콘텐츠를 전혀 접하지 않고 표준 벤치마크에서의 성능 손실 없이도, 직접 요청 및 다섯 가지 탈옥 방법에 걸쳐 HarmBench에서 공격 성공률 거의 0에 근접하는 성능을 달성한다. 또한 학습 과정이 경량화되어 있어 단일 GPU에서 수 분 내에 전체 절차가 완료되며, 표준 LAT 대비 75배 적은 예시를 사용한다. 광범위한 절제 실험을 통해 우리 방법의 강건성, 효율성, 일반화 성능을 검증한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.