Understanding Model Ensemble in Transferable Adversarial Attack
원문 초록
Model ensemble adversarial attack has become a powerful method for generating transferable adversarial examples that can target even unknown models, but its theoretical foundation remains underexplored. To address this gap, we provide early theoretical insights that serve as a roadmap for advancing model ensemble adversarial attack. We first define transferability error to measure the error in adversarial transferability, alongside concepts of diversity and empirical model ensemble Rademacher complexity. We then decompose the transferability error into vulnerability, diversity, and a constant, which rigidly explains the origin of transferability error in model ensemble attack: the vulnerability of an adversarial example to ensemble components, and the diversity of ensemble components. Furthermore, we apply the latest mathematical tools in information theory to bound the transferability error using complexity and generalization terms, contributing to three practical guidelines for reducing transferability error: (1) incorporating more surrogate models, (2) increasing their diversity, and (3) reducing their complexity in cases of overfitting. Finally, extensive experiments with 54 models validate our theoretical framework, representing a significant step forward in understanding transferable model ensemble adversarial attacks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CART: 대규모 언어 모델을 위한 폐루프 적응형 레드팀 테스팅
CART: Closed-Loop Adaptive Red Teaming for Large Language Models
자동화된 레드팀 테스팅은 종종 고정된 프롬프트 집합을 재생하며, 이는 알려진 위험을 측정할 수는 있지만 테스트 중 발견된 실패로부터 학습할 수는 없다. 우리는 각 결과를 다음에 무엇을 테스트할지 안내하는 데 활용하는 프레임워크인 CART(Closed-Loop Adaptive Red Teaming)를 제안한다. CART는 넓은 위험 커버리지로 시작하고, 나타나는 취약점을 추적하며, 새로운 프로브를 다양하게 유지하고, 모든 발견에 대한 증거와 출처를 기록한다. 테스트를 생성하는 Challenger, 텍스트 전용 모델 또는 제한된 도구 사용 에이전트일 수 있는 테스트 대상 Target, 결과를 평가하는 Judge를 분리하여 이러한 역할을 독립적으로 연구할 수 있게 한다. 세 가지 평가 계열(Frontier, JAH, Agentic)에 걸쳐 CART는 사용 가능한 기준선이 있는 모든 Target에 대해 정적 시드 재생보다 더 많은 실패와 더 높은 평균 위험을 발견한다. 이러한 이득은 도구 매개 에이전트 테스트까지 확장되며, 맥락적 적응이 직접적인 프롬프트 재생이 겪지 못하는 취약점을 드러낼 수 있음을 시사한다. 이 결과는 실제 배포에서 실패가 얼마나 자주 발생하는지가 아니라 테스트 정책이 무엇을 발견하는지를 기술한다. 또한 Challenger-Judge 선택이 드러난 증거에 영향을 미친다는 것을 확인했으며, 이는 역할 분리와 독립적 검토의 필요성을 강조한다. 전반적으로 CART는 레드팀 테스팅을 일회성 체크리스트에서 모델과 에이전트 취약점에 대한 지속적이고 적응적이며 감사 가능한 탐색으로 전환한다.
GFlowRL: 대규모 언어 모델로 분포 매칭 강화학습 확장
GFlowRL: Scaling Distribution-Matching RL to Large Language Models
생성 흐름 네트워크(GFlowNets)는 대규모 추론 모델을 위한 보상 최대화 강화학습(RL)에 대한 유망한 대안을 제공하며, 지배적 모드로 수렴하는 대신 보상 분포를 맞춤으로써 다양한 추론 경로를 장려한다. 최근 연구는 수학 및 코드 분야에서 가능성을 보여주지만, GFlowNet 스타일의 강화학습을 현대적인 사후 학습 파이프라인으로 확장하는 것은 여전히 어렵다. 모델 크기, 롤아웃 수평선, 보상 노이즈, 분산 시스템 복잡도가 함께 증가함에 따라, 학습된 프롬프트 조건부 분할 함수(partition function)는 유용한 정규화 요소(normalizer)라기보다 그래디언트 불안정성과 엔지니어링 오버헤드의 원인이 된다. 체계적인 분석을 통해, 이전에는 필수적인 것으로 여겨졌던 학습된 분할 함수가 학습에 이미 필요한 롤아웃 그룹으로부터 계산되는 배치 내 Monte Carlo 추정치로 대체될 수 있음을 밝혔다. 우리는 보조 분할 네트워크를 완전히 제거하면서도 보상-분포 매칭 목표를 유지하는 간소화된 GFlowNet 스타일 강화학습 알고리즘인 GFlowRL을 제안한다. 이는 롤아웃/트레이너 드리프트에 대한 중요도 샘플링(importance-sampling) 보정과 이상치(outlier) 잔차에 대한 비대칭 flow-gap 클리핑이라는 두 가지 안정화 장치로 보완된다. GFlowRL은 수학, 코드, 적대적 레드팀 테스팅 벤치마크에서 모든 대안 방법들을 능가하며, 14B 규모에서 Codeforces 레이팅 2048(o3-mini와 25 Elo 이내)에 도달하고 AdvBench 및 HarmBench에서 최고 평균 ASR@1을 달성하여, 이전 GFlowNet 스타일 방법인 FlowRL이 발산하는 영역에서 이전 SOTA 다중 턴(multi-turn) 공격자를 능가한다. 동일한 방법은 최대 235B 파라미터까지 평가된 모든 전문가 혼합(MoE) 구성으로 전이되며, FlowRL은 여기서도 다시 수렴하지 못한다. 우리가 아는 한, GFlowRL은 dense 및 sparse 아키텍처 모두에서 안정적으로 확장되는 최초의 GFlowNet 스타일 강화학습 알고리즘이다. 코드는 https://github.com/microsoft/gflowrl 에 공개될 예정이다.
Cultural-Aware AI Model for Emotion Recognition
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
토론
이 논문과 연결된 포럼 글이 아직 없습니다.