arXiv:2403.11833

SSCAE -- Semantic, Syntactic, and Context-aware natural language Adversarial Examples generator

Javad Rafiei Asl, Mohammad H. Rafiei, Manar Alohaly, Daniel Takabi

제출 2024-03-18

원문 초록

Machine learning models are vulnerable to maliciously crafted Adversarial Examples (AEs). Training a machine learning model with AEs improves its robustness and stability against adversarial attacks. It is essential to develop models that produce high-quality AEs. Developing such models has been much slower in natural language processing (NLP) than in areas such as computer vision. This paper introduces a practical and efficient adversarial attack model called SSCAE for \textbf{S}emantic, \textbf{S}yntactic, and \textbf{C}ontext-aware natural language \textbf{AE}s generator. SSCAE identifies important words and uses a masked language model to generate an early set of substitutions. Next, two well-known language models are employed to evaluate the initial set in terms of semantic and syntactic characteristics. We introduce (1) a dynamic threshold to capture more efficient perturbations and (2) a local greedy search to generate high-quality AEs. As a black-box method, SSCAE generates humanly imperceptible and context-aware AEs that preserve semantic consistency and the source language's syntactical and grammatical requirements. The effectiveness and superiority of the proposed SSCAE model are illustrated with fifteen comparative experiments and extensive sensitivity analysis for parameter optimization. SSCAE outperforms the existing models in all experiments while maintaining a higher semantic consistency with a lower query number and a comparable perturbation rate.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.02418v2cs.CR공통 태그 Adversarial Attack

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2606.27832v2cs.LG공통 태그 Adversarial Attack

USAD: 불확실성 인식 통계적 적대적 탐지

USAD: Uncertainty-aware Statistical Adversarial Detection

통계적 적대적 탐지(SAD)는 탐지를 2-표본 검정으로 취급한다. 깨끗한 예제(CE)의 참조 집합과, 알 수 없는 비율로 CE와 적대적 예제(AE)가 섞여 있을 수 있는 쿼리 배치가 주어졌을 때, SAD는 거짓 경보율을 통제하면서 쿼리 분포가 CE 분포에서 벗어났는지 판단한다. 기존 SAD 기반 방법은 주로 분포 간 불일치를 측정하기 위해 최대 평균 불일치(MMD)를 사용한다. 그러나 MMD의 분포적 특성은 탐지에 중요한 AE의 특징적 불확실성 패턴을 포착하는 능력을 제한한다. AE는 일반적으로 비정상적인 특징 퍼짐(즉, 전역 불확실성)과 교란에 대한 불안정성(즉, 국소 불확실성)을 보인다. 이 간극을 메우기 위해 우리는 두 가지 새로운 통계량으로 이러한 불확실성 패턴을 명시적으로 포착하는 불확실성 인지 통계적 적대적 탐지(USAD)를 제안한다. (1) 분산 불일치(VD)는 AE와 CE 사이의 특징 퍼짐의 차이를 측정하여 전역 불확실성 차이를 포착한다. (2) 교란 기반 공분산 불일치(PCD)는 가우시안 교란 하에서 특징 공분산을 비교하여 국소 불확실성 차이를 포착한다. VD와 PCD를 집계함으로써 USAD는 다양한 적대적 공격에 대해 기준선 방법보다 우수한 탐지 성능을 달성하며, 효과적인 SAD를 위해 AE의 특징적 행동을 고려하는 것이 중요함을 보여 준다. 코드는 https://github.com/yeager20001118/USAD 에서 이용할 수 있다.

arXiv:2606.29441v2cs.CR공통 태그 Adversarial Attack

활성화 콘 사각지대 해소: 응답 시간 프로빙과 통합 방어

Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense

v2 관련 안내(2026년 11월): 평가 코드에서 오류가 발견되어 v1에 보고된 실험 결과는 뒷받침되지 않는다. 이론적 따름정리는 영향을 받지 않는다. 자세한 내용은 1쪽의 공지와 링크된 저장소의 KNOWN_ISSUES.md에 있다. 우리는 7개의 지시 튜닝 모델(7-31B)과 5가지 공격 유형(GCG, AutoDAN, DeepInception, prefilling, intent laundering)에 걸쳐 5가지 추론 시점 안전 패러다임(방어 없음, 정적 스티어링, CAST, AlphaSteer, 프로브 게이트 스티어링)을 비교한다. 우리는 하나의 따름정리를 도출한다. 개입 여부를 단일 층의 활성화가 양성 참조(원뿔, 부분공간 또는 영공간)와 정렬되는지에 따라 결정하는 방어는, 프롬프트 시점에 검사하든 토큰별로 검사하든, 활성화가 그 참조 내부에 놓이도록 조작하는 공격에 대해 맹점을 가진다. prefilling 공격에 대해서는 응답 시점 프로빙(response-time probing)을 제안하는데, 이는 처음 생성되는 토큰들의 은닉 상태에 대한 선형 프로브와 중단(halt)을 결합한 것이며, 이 중단을 AlphaSteer의 영공간 스티어링과 결합한다. 또한 MMLU가 스티어링의 유용성 비용을 포착하는지, 그리고 음성 학습 집합의 다양성이 프로브의 거짓 양성률에 어떤 영향을 미치는지도 살펴본다. 코드, 공격, 샘플별 결과를 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.