arXiv:2401.12461

Fast Adversarial Training against Textual Adversarial Attacks

Yichen Yang, Xin Liu, Kun He

제출 2024-01-23

원문 초록

Many adversarial defense methods have been proposed to enhance the adversarial robustness of natural language processing models. However, most of them introduce additional pre-set linguistic knowledge and assume that the synonym candidates used by attackers are accessible, which is an ideal assumption. We delve into adversarial training in the embedding space and propose a Fast Adversarial Training (FAT) method to improve the model robustness in the synonym-unaware scenario from the perspective of single-step perturbation generation and perturbation initialization. Based on the observation that the adversarial perturbations crafted by single-step and multi-step gradient ascent are similar, FAT uses single-step gradient ascent to craft adversarial examples in the embedding space to expedite the training process. Based on the observation that the perturbations generated on the identical training sample in successive epochs are similar, FAT fully utilizes historical information when initializing the perturbation. Extensive experiments demonstrate that FAT significantly boosts the robustness of BERT models in the synonym-unaware scenario, and outperforms the defense baselines under various attacks with character-level and word-level modifications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.25750v2cs.CR공통 태그 Adversarial Robustness

RAS: 거부 정렬을 통한 LLM 안전성 측정

RAS: Measuring LLM Safety Through Refusal Alignment

오픈 웨이트 거대 언어 모델의 반복적인 안전성 평가에는 서로 관련된 다수의 체크포인트에 대해 응답을 생성하고 판정하는 과정이 필요하다. 우리는 5단계 SafeVec 절차로 계산되는, 유해 요청 거부에 대한 표현 기반의 참조 상대적 지표인 RAS(Refusal Alignment Score)를 소개한다. SafeVec은 정렬된 참조 모델로부터 계층별 거부 방향을 추출하고, 관련 대상 모델에서 그 정렬 정도를 측정하며, 참조 모델과 보정 모델의 행동적 공격 성공률(ASR)을 이용하여 0에서 100 사이의 점수를 보정한다. 이후의 대상 모델 점수 산출에는 입력 순전파만 사용된다. Llama, Gemma, Qwen 계열에서 따로 떼어 둔 18개 변형 모델에 걸쳐 RAS는 $100(1-\mathrm{ASR})$과 상관관계를 보이며(Pearson 0.934, Spearman 0.851) 83.0%의 쌍별 순서 일치도를 달성한다. Llama 참조 모델에 대한 다섯 가지 프롬프트 구성에 걸쳐 방향들의 평균 코사인 유사도는 0.939이다. 보정 ASR을 이미 확보한 경우, 설정 비용을 포함한 다섯 개 대상 모델의 평가는 규정된 행동 프로토콜 대비 3.2배에서 80.5배의 속도 향상을 달성한다. 이러한 결과는 거부 정렬이 관련 체크포인트를 선별하고 행동 감사의 우선순위를 정하는 데 효율적인 신호임을 뒷받침한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.