DACE: 강건한 LLM 안전 정렬을 위한 다양성 기반 적대적 공진화
DACE: Diversity-Driven Adversarial Co-Evolution for Robust LLM Safety Alignment
한국어 초록
대규모 언어 모델(LLM)의 강건한 안전 정렬을 보장하는 일은, 적대적 공격이 진화하여 사전에 수집된 데이터에 기반한 정렬 파이프라인을 앞지르면서 점점 어려워지고 있다. 기존 공진화 프레임워크는 방어자가 움직이는 공격자를 뒤쫓게 하지만, 그 학습 역학은 두 가지 복합적 병리를 드러낸다. 하나는 공격자가 소수의 높은 보상을 받는 재작성에 과적합되는 \emph{공격 전략 붕괴}이고, 다른 하나는 공격 분포가 이동함에 따라 방어자가 이전 공격에 대한 능력을 잃는 \emph{방어 적대적 망각}이다. 기존의 해결책은 부분적이다. 공격자 측의 다양성 보상은 전략의 참신성이 아니라 텍스트의 참신성을 평가하며, 방어자 측의 리플레이는 추정 불확실성, 응답의 확률성, 방어자의 비정상성을 무시하는 이산적인 판정 점수에 의존한다. 본 논문은 두 병리를 함께 겨냥하는 다양성 기반 적대적 공진화 프레임워크인 \textbf{\method}를 제안한다. 공격자 측에서 \method는 명시적인 2차원 전략 공간(위험 범주 $\times$ 공격 스타일)을 \emph{정규화된 한계 커버리지 이득} 보상과 결합하여 전략 계층에서 경계가 있고 사라지지 않는 탐색 신호를 제공한다. 방어자 측에서 \method는 Beta--Bernoulli 위협 사후분포가 시간 감쇠로 갱신되고 톰슨 샘플링으로 추출되는 통합 \emph{베이지안 적대적 리플레이 풀}을 유지하여, 방어자 학습을 진화하는 위협 환경에 고정한다. 표준 안전성, 자동화된 공격자, 일반 능력 벤치마크 전반에서 \method는 일반 능력을 보존하면서 분포 외 공격에 대한 강건성을 향상시키고 더 넓은 공격자 전략 커버리지를 이끌어 낸다.
원문 초록
Ensuring robust safety alignment of large language models (LLMs) is increasingly difficult as adversarial attacks evolve and outpace alignment pipelines built on pre-collected data. Existing co-evolutionary frameworks let the defender chase a moving attacker, yet their training dynamics expose two compounding pathologies: \emph{attack strategy collapse}, where the attacker overfits to a narrow set of high-reward rewrites, and \emph{defense adversarial forgetting}, where the defender loses competence against earlier attacks as the attack distribution drifts. Existing remedies are partial: attacker-side diversity rewards score textual novelty rather than strategy novelty, and defender-side replay relies on discrete judge scores that ignore estimation uncertainty, response stochasticity, and defender non-stationarity. We introduce \textbf{\method}, a diversity-driven adversarial co-evolution framework that targets both pathologies jointly. On the attacker side, \method couples an explicit two-dimensional strategy space (risk category $\times$ attack style) with a \emph{normalized marginal coverage gain} reward, providing a bounded, non-vanishing exploration signal at the strategy layer. On the defender side, \method maintains a unified \emph{Bayesian adversarial replay pool} whose Beta--Bernoulli threat posteriors are refreshed by time decay and sampled via Thompson sampling, anchoring defender training to an evolving threat landscape. Across standard safety, automated-attacker, and general-capability benchmarks, \method improves robustness to out-of-distribution attacks while preserving general capabilities, and yields broader attacker strategy coverage.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22278v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.