arXiv:2606.09701v2 cs.CL

공격과 방어의 학습: GRPO를 통한 언어 모델의 적응형 레드팀 테스팅

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

제출 2026-06-08

한국어 초록

언어 모델의 안전성(safety)은 진화하는 공격에 지속적으로 적응해야 합니다. 최근 연구들은 PPO 방식의 자가 대국(self-play) 및 DPO 방식의 온라인 선호도 최적화를 적용하여 공격자 및 방어자 모델을 함께 더 강력하게 훈련할 수 있음을 입증했습니다. 본 연구에서는 이러한 설정에서 GRPO의 효과를 탐구합니다. 공격자와 방어자의 여러 속성을 공동으로 최적화해야 하므로 공동 학습(co-training)은 까다로울 수 있습니다. 이에 따라 저자들은 여러 대규모 언어 모델(LLM) 심사위원 기반 보상 채널을 사용하여 모델 출력을 형성하고, 단일 채널이 지배적이지 않도록 GDPO로 이점(advantage)을 계산합니다. 제안하는 방법은 공격자 전용 단일 턴 및 다중 턴 학습에서 공격자와 방어자 모델을 번갈아 업데이트하는 공동 학습으로 발전하는 커리큘럼을 사용합니다. 이를 통해 매우 효과적이고 전이 가능한 공격을 생성하며, 공동 학습된 방어자가 일반적인 유용성을 보존하면서도 경쟁력 있는 안전성에 도달함을 보여줍니다. 또한 통제된 절제 연구(ablation study)를 통해 학습 파이프라인의 어떤 구성 요소가 결과적인 안전성과 유용성 간의 균형에 가장 큰 영향을 미치는지 밝혀냅니다. 마지막으로 GRPO가 학습 과정에서 공격자의 다양성을 붕괴시키는 경향이 있음을 발견하고 이러한 한계를 해결하기 위한 방안을 논의합니다.

원문 초록

Language model safety must continually adapt to evolving attacks. Recent works have demonstrated that reinforcement learning can be used to train stronger attacker and defender models in tandem by applying PPO-style self-play and DPO-style online preference optimization. In this work, we explore the efficacy of GRPO in this setting. Co-training can be challenging because it requires jointly optimizing multiple properties of both the attacker and defender. We therefore shape model outputs using multiple LLM judge-based reward channels and compute advantages with GDPO, which prevents any single channel from dominating. Our method uses a curriculum that progresses from attacker-only single-turn and multi-turn training to co-training, where attacker and defender models are updated in alternation. We show that this method produces highly effective and transferable attacks, and that co-trained defenders reach competitive safety while preserving general utility. Through a controlled ablation, we further identify which components of our training pipeline most affect the resulting balance between safety and utility. Finally, we find that GRPO tends to collapse attacker diversity over training and discuss possible ways to address this limitation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.09701v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02827v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, Red Teaming

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

arXiv:2610.02920v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, Red Teaming

HASTE: 희소한 증거를 활용하여 새로운 공격에 대응하는 에이전트 하네스 진화 기법

HASTE: Evolving Agent Harnesses Against Emerging Attacks Using Sparse Evidence

에이전트 하네스(agent harness)는 안전하지 않은 행동을 방지하기 위한 안전성(safety) 제약 조건을 강제함으로써 방어에서 중요한 역할을 수행합니다. 그러나 급격히 등장하는 새로운 공격들은 수동적인 하네스 적응 속도를 앞지르고 있어, 자동화된 하네스 진화의 필요성을 부각합니다. 하지만 위협 보고서나 프리프린트(preprint)에 기재된 짤막한 설명이나 소수의 공격 사례처럼, 하네스 진화에 사용할 수 있는 신호는 종종 희소(sparse)합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 안전 사양 생성과 공격 사례 생성 간의 적대적 상호작용을 통해 희소한 위협 증거로부터 에이전트 하네스를 진화시키는 다중 에이전트 프레임워크인 HASTE를 소개합니다. 안전 사양은 하네스 업데이트가 식별된 안전 취약점을 해결하도록 유도하며, 공격 사례는 각 업데이트 이후 잔여 안전 취약점을 탐색합니다. 평가(evaluation) 결과를 두 프로세스 모두에 피드백함으로써, HASTE는 초기에 관찰된 증거를 넘어 새롭게 등장하는 공격에 맞서 하네스를 진화시킬 수 있도록 합니다. 다양한 백본 모델, 공격 유형 및 증거 형태에 걸친 실험 결과는 HASTE가 정상 작업(benign-task)의 유용성을 보존하면서도 공격 성공률을 일관되게 낮춤을 보여줍니다. 코드는 https://github.com/xxiqiao/HASTE 에서 확인할 수 있습니다.

arXiv:2609.23894v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Red Teaming

에이전틱 AI 보안의 연결 고리: 다차원 위협 분류 체계, 평가 성숙도 및 공개 도전 과제

Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

에이전틱 AI(Agentic AI)는 대규모 언어 모델(LLM) 보안의 범위를 생성된 콘텐츠를 넘어 영구 상태(persistent state), 자율 행동, 도구 사용, 그리고 인간 및 타 에이전트와의 상호작용으로 확장합니다. 기존의 위협 분류는 대개 개별 차원을 강조하여 진입점, 영향을 받는 컴포넌트, 보안 결과 간의 연결 고리를 모호하게 만듭니다. 또한 알려진 위협 환경은 실증 연구에서 입증된 커버리지와 차이를 보입니다. 본 논문에서는 2022년부터 2026년까지 발표된 66편의 연구에 대한 체계적인 검토를 통해 영향을 받는 기능적 또는 시스템 표면 {S}, 상호작용 또는 신뢰 경계 {B}, 침해된 보안 속성 {P}, 실증적으로 검토된 아키텍처 {A}를 연결하는 다차원 표현 T={S, B, P, A}를 제안합니다. 또한 실증적 커버리지와 평가 성숙도를 규명하기 위해 아티팩트 기반 레드팀 테스팅(red-teaming) 연구 22편과 대표적인 보안 벤치마크(benchmark) 11개를 분석합니다. 선정된 연구 내에서 실증적 증거는 주로 단일 에이전트 환경의 프롬프트(prompt)/추론, 메모리 및 도구 매개 공격에 집중되어 있습니다. 영구성, 인간-에이전트(Human-Agent), 복잡한 멀티 에이전트, 시스템적, 장기적(long-horizon) 위협에 대한 연구 커버리지는 상대적으로 부족합니다. 이러한 발견은 전체 실증 연구 전반의 격차를 규정하기보다는 선정된 연구 코퍼스의 특성을 설명합니다. 이질적인 지표, 제한적인 적응형 방어 평가, 아키텍처적 불균형, 불완전한 실행 상태 캡처는 비교 및 재현성을 더욱 제약합니다. 마지막으로 에이전틱 AI의 보다 체계적이고 아키텍처를 인식하며 재현 가능한 보안 평가를 유도하기 위한 13가지 공개 연구 질문을 도출합니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.03498v2cs.RO공통 태그 Adversarial Attack, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.