arXiv:2610.02844v1 cs.AI

DNAlign: 대규모 언어 모델을 위한 동적 영공간 기반 안전 정렬

DNAlign: Dynamic Null-Space Safe Alignment for LLMs

Jisheng Dang, Yushuo Zhao, Dewei Liu, Junfeng Fang, Bimei Wang, Tiantian Rao, Hong Peng, Bin Hu, Tat-Seng Chua

제출 2026-10-02

저자 비고

arXiv Comments

Regular Paper; 13 pages, 8 figures, and 1 table

한국어 초록

대규모 언어 모델(LLM)의 안전하고 신뢰할 수 있는 배포를 보장하는 것은 여전히 근본적인 과제로 남아 있습니다. 기존의 안전성 정렬(safety alignment) 방식들은 높은 계산 비용을 초래하거나 모델의 핵심 지식을 의도치 않게 훼손하여 무해한 작업에서의 유창성과 사실적 정확도를 저하시킵니다. 이는 안전성과 유용성(utility) 사이의 지속적인 트레이드오프를 보여줍니다. 본 논문에서는 제어 이론적 최적화와 영공간 투영(null-space projection)을 통합한 경량 정렬 프레임워크인 DNAlign을 제안합니다. 제안된 프레임워크는 LLM을 동적 시스템으로 취급하여, 생성이 안전한 방향으로 유도되도록 제어 가능한 섭동(perturbation)을 도입합니다. 핵심 구성 요소인 투영 모듈은 이러한 섭동을 중립 은닉 상태에서 파생된 유해성 관련 부분공간으로 제한함으로써, 일반적인 지식과 응답 품질을 보존합니다. 인간 선호도 데이터로 학습된 가치 함수는 인간의 안전성 선호도에 부합하도록 제어 신호를 적응적으로 최적화합니다. 다양한 LLM 백본에 걸친 광범위한 평가는 본 프레임워크가 유창성, 일관성, 사실적 유용성을 유지하면서 유해한 출력을 일관되게 감소시킴을 입증합니다. 또한 생성 다양성을 희생하지 않으면서 이전 정렬 베이스라인 대비 우수한 종합적 성능을 달성합니다. 이러한 결과는 제안된 프레임워크가 안전한 LLM 정렬을 위한 효과적이고 실질적으로 배포 가능한 솔루션을 제공함을 보여줍니다. 코드는 https://anonymous.4open.science/r/DNAlign 에서 이용할 수 있습니다.

원문 초록

Ensuring the safe and reliable deployment of large language models (LLMs) remains a fundamental challenge. Existing safety alignment approaches either incur high computational cost or unintentionally disrupt the model's core knowledge, leading to degraded fluency and factual accuracy on benign tasks. This reveals a persistent trade-off between safety and utility. We propose DNAlign, a lightweight alignment framework that integrates control-theoretic optimization with null-space projection. By treating the LLM as a dynamic system, the proposed framework introduces controllable perturbations to steer generation toward safe behavior. A key component is the projection module, which restricts these perturbations to the harmful-related subspace derived from neutral hidden states, thereby preserving general knowledge and response quality. A value function trained on human preference data adaptively optimizes the control signals to align with human safety preferences. Extensive evaluations across multiple LLM backbones demonstrate that our framework consistently reduces harmful outputs while maintaining fluency, coherence, and factual utility. It achieves superior overall performance compared to prior alignment baselines without sacrificing generation diversity. These results indicate that the proposed framework provides an effective and practically deployable solution for safe LLM alignment. Code is available at https://anonymous.4open.science/r/DNAlign.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02844v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02664v1cs.AI공통 태그 Large Language Model, Safety Alignment

장기 실행 에이전트의 GHOST: 턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험

A GHOST in Long-Horizon Agents: Governance Hazard from Overlooked Safety Constraints across Turns

장기 실행 에이전트(long-horizon agent)는 복잡한 문제 해결에서 인간을 보조하는 데 점점 더 중요한 역할을 하고 있습니다. 그러나 이러한 확장된 상호작용 이력은 지금까지 충분히 탐구되지 않은 실행 안전성(execution-safety) 문제를 유발합니다. 정상적인 상호작용 환경에서도 에이전트는 여러 턴(turn) 이전에 명시된 안전 제약 조건을 위반하는 행동을 실행할 수 있습니다. 본 연구에서는 비가역적인 피해를 초래할 수 있는 이러한 실패 모드를 '턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험(GHOST, Governance Hazard from Overlooked Safety Constraints across Turns)'이라고 명명합니다. 실험 결과 GHOST 사건은 개별적인 예외 사례가 아님을 확인했습니다. 정상적인 상호작용 조건에서도 정확히 발생하는 이 실패 모드는 GPT-5.5에서 11.5%의 발생률을 나타냈습니다. 나아가 본 논문에서는 이론적으로 각 안전한 접두 문맥(safe prefix)에 따른 잔여 조건부 위반 위험이 발산하는(non-summable) 수열로 아래로 유계되는 경우, 실행이 거의 확실하게(almost surely) 위험 영역에 진입함을 증명합니다. 이러한 이론적 통찰을 바탕으로, 과거 의미론적 안전 제약 조건 복원과 실행 전 감사를 결합한 2개 층의 방어 메커니즘인 STAR-Guard를 제안합니다. STAR-Guard는 적용 가능한 안전 제약 조건을 복원하여 안전하지 않은 제안을 줄이는 동시에, 결정론적 감사 층을 통해 잔여 위반 사항이 환경(environment)에 도달하지 못하도록 방지합니다. 이러한 2개 층 설계에 힘입어, GPT-5.5 설정에서의 실험에서 GHOST 사건이 전혀 발생하지 않음을 관찰했습니다.

arXiv:2610.02910v1cs.AI공통 태그 Large Language Model, Safety Alignment

빈도는 민감도가 아니다: 희소 MoE 대규모 언어 모델에서 안전성에 민감한 전문가 식별

Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM

라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.

arXiv:2609.39788v2cs.AI공통 태그 Large Language Model, Safety Alignment

다중 에이전트 시스템에서 잠재 공간 통신의 안전성

Safety of Latent Communication in Multi-Agent Systems

잠재 공간 통신(Latent communication)은 다중 에이전트 시스템이 내부 표상 공간에서 직접 정보를 교환할 수 있게 하여, 텍스트 기반 통신에 수반되는 토큰, 연산 및 지연 오버헤드를 줄여줍니다. 이를 위해 발신자의 표상을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입됩니다. 본 연구에서는 기반이 되는 안전성 정렬(safety alignment) 에이전트들이 변경되지 않더라도, 정상적인 링크 학습만으로도 텍스트 기반 통신 대비 유해한 요청에 대한 순응(harmful compliance)이 증가할 수 있음을 보입니다. 공격자는 유해한 질의-응답 쌍으로 링크를 최적화하거나 정상적인 학습 데이터를 오염시킴으로써 이러한 효과를 증폭시킬 수 있습니다. 나아가 유해한 타깃 응답을 요구하지 않으면서도 정상적인 작업 성능과 유해 요청 순응을 함께 보상하는 강화학습(RL) 공격을 개발합니다. 세 가지 통신 토폴로지와 네 가지 안전성 벤치마크에 걸쳐, 이 공격은 정상적으로 학습된 링크에서의 평균 유해 순응 점수를 27.9에서 76.9로 높입니다. 직접적인 지도 최적화와 비교했을 때, 두 가지 정상 유용성 벤치마크에서도 더 높은 평균 정확도를 달성합니다. 보상을 보다 안전한 동작을 지향하도록 조정하면 침해된 링크를 복구할 수도 있어, 에이전트를 업데이트하지 않고도 평가된 모든 공격 전반에서 유해 순응을 크게 줄일 수 있습니다. 전반적으로 본 연구 결과는 안전성 정렬 시 다중 에이전트 시스템 전체를 통합적으로 고려해야 함을 보여줍니다. 코드: https://github.com/Muhammad-Huzaifaa/latent-safety

arXiv:2610.01323v1cs.AI공통 태그 Large Language Model, Safety Alignment

TRACE: 다중 턴 안전성을 위한 궤적 리턴 귀속 및 대조적 소거

TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety

안전성 정렬(safety alignment)을 거친 대규모 언어 모델(LLM)은 유해한 단일 요청은 종종 거부하지만, 동일한 목표가 여러 턴에 걸쳐 분산되면 요청에 순응하곤 합니다. 선호도 목적함수는 단일 프롬프트에 대한 전체 응답을 평가하므로, 해당 학습 손실만으로는 이전에 보지 못한 대화 이력에서의 위험을 제어할 수 없습니다. 본 연구의 분석에서는 지도 학습된 단일 턴 컨텍스트에서의 억제가 다중 턴 궤적 위험에 대한 상한(bound)을 산출하기 위한 충분조건을 제시합니다. 이 경계는 커버리지, 전이 여유(transfer slack), 누출을 고려하며, 학습된 정책의 컨텍스트에서 평가된 기본 정책 위험 예산 대비 수축(contraction)을 특성화합니다. TRACE(Trajectory Return Attribution and Contrastive Erasure)는 이러한 원리를 토큰 수준의 목적함수로 전환합니다. 안전한 응답에서 각 토큰은 거부 귀속 어드밴티지(refusal-attributable advantage)의 할인된 리턴에 의해 가중치가 부여됩니다. 이 어드밴티지는 고정된 참조 모델과 거부 기능이 제거된(refusal-ablated) 사본을 비교함으로써, 앞선 응답 토큰이 이후의 거부 관련 증거로부터 크레딧을 받을 수 있도록 합니다. 거부된 응답의 격차가 큰 위치에서 TRACE는 소거 대상에서 관측된 토큰과 정책이 선택한 대안을 결합합니다. 그래디언트 노름 페널티는 유지 세트(retain set)를 대체합니다. 5개의 오픈 가중치 모델과 7개의 다중 턴 공격에 걸쳐, TRACE는 총 35개의 모든 모델 및 공격 조합에서 가장 낮은 공격 성공률(ASR)을 기록했으며, MMLU 및 HellaSwag에서 평가된 모델 유용성 하락은 최대 1.23점에 불과했습니다. 소스 코드는 보충 자료에서 확인할 수 있습니다.

arXiv:2609.27900v1cs.CL공통 태그 Large Language Model, Safety Alignment

위임된 정렬 실패: 다중 에이전트 구조가 LLM 안전성 위험을 증폭시키는 방식

Delegated Misalignment: How Multi-Agent Structures Amplify LLM Safety Risks

대규모 언어 모델(LLM)은 주 에이전트가 작업을 분해하고 외부 도구를 호출할 수 있는 하위 에이전트들에게 이를 위임하는 다중 에이전트 시스템에 점점 더 많이 배포되고 있습니다. 그러나 안전성 정렬(safety alignment)은 여전히 안전성을 개별 LLM의 속성으로 취급하며 거의 전적으로 단일 에이전트 위협 모델 하에서만 평가됩니다. 본 연구에서는 이러한 가정이 무너짐을 보여줍니다: 개별 안전성 정렬은 다중 에이전트 환경으로 전이되지 못합니다. 위임 과정에서 주 에이전트 측의 책임 분산(responsibility diffusion)과 하위 에이전트 측의 역할 바이어스 순응(role-bias compliance)이라는 두 가지 실패 메커니즘이 나타나며, 이들이 결합하여 언어 수준의 거부를 실행 가능한 위해(harm)로 전환합니다. 우리는 이 현상을 위임된 정렬 실패(delegated misalignment)라 명명하고, 49개의 위험 작업에 대해 6개의 프론티어 LLM을 대상으로 한 3가지 조건의 프로토콜을 통해 이를 연구합니다. 위임은 엔드투엔드 위해를 대폭 증폭시킵니다. DeepSeek-V3.2의 전체 실행률은 위임이 도입되자마자 30.6%에서 77.6%로 증가하며, 동일한 모델도 역할에 따라 매우 다르게 행동합니다(GPT-5: 단일 에이전트로서 22.5% vs. 하위 에이전트로서 61.2%). 소거 연구(ablation)를 통해 표준 단일 층 방어가 각각 단독으로는 실패하며 심지어 역효과를 낼 수 있음도 추가로 확인했습니다. 우리는 다중 에이전트 LLM 시스템이 대규모로 배포되기 전에 커뮤니티가 모델별 정렬을 넘어 복합 안전 메커니즘으로 나아갈 것을 촉구합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.