arXiv:2201.08555

Identifying Adversarial Attacks on Text Classifiers

Zhouhang Xie, Jonathan Brophy, Adam Noack, Wencong You, Kalyani Asthana, Carter Perkins, Sabrina Reis, Sameer Singh, Daniel Lowd

제출 2022-01-21

원문 초록

The landscape of adversarial attacks against text classifiers continues to grow, with new attacks developed every year and many of them available in standard toolkits, such as TextAttack and OpenAttack. In response, there is a growing body of work on robust learning, which reduces vulnerability to these attacks, though sometimes at a high cost in compute time or accuracy. In this paper, we take an alternate approach -- we attempt to understand the attacker by analyzing adversarial text to determine which methods were used to create it. Our first contribution is an extensive dataset for attack detection and labeling: 1.5~million attack instances, generated by twelve adversarial attacks targeting three classifiers trained on six source datasets for sentiment analysis and abuse detection in English. As our second contribution, we use this dataset to develop and benchmark a number of classifiers for attack identification -- determining if a given text has been adversarially manipulated and by which attack. As a third contribution, we demonstrate the effectiveness of three classes of features for these tasks: text properties, capturing content and presentation of text; language model properties, determining which tokens are more or less probable throughout the input; and target model properties, representing how the text classifier is influenced by the attack, including internal node activations. Overall, this represents a first step towards forensics for adversarial attacks against text classifiers.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2508.03250v4cs.CL공통 태그 Language Modelling, Sentiment Analysis

RooseBERT: 정치 언어 모델링을 위한 새로운 협정

RooseBERT: A New Deal For Political Language Modelling

정치 토론 및 정치 관련 논의가 증가함에 따라, 시민들에게 정치적 숙의를 더 명확히 전달한다는 최종 목표를 위해 이러한 콘텐츠를 자동으로 분석할 수 있는 새로운 계산 방법을 정의해야 할 필요성이 제기되고 있습니다. 그러나 정치 언어의 특수성과 이러한 토론의 논증적 형식(숨겨진 커뮤니케이션 전략을 사용하고 함축적 논증을 활용하는 방식)은 현재의 범용 사전학습 언어 모델(LM)에게도 이 작업을 매우 어렵게 만듭니다. 이를 해결하기 위해, 우리는 정치 담론 언어를 위한 새로운 사전학습 언어 모델(LM)인 RooseBERT를 소개합니다. 특화된 도메인에서 언어 모델(LM)을 사전학습하는 것은 막대한 계산 자원과 대규모 데이터를 필요로 하는 다양한 기술적 및 언어적 도전 과제를 야기합니다. RooseBERT는 영어로 된 대규모 정치 토론 및 연설 말뭉치(11GB)에서 학습되었습니다. 성능을 평가하기 위해, 우리는 정치 토론 분석과 관련된 여러 다운스트림(downstream) 태스크, 즉 입장 탐지, 감성 분석, 논증 구성 요소 탐지 및 분류, 논증 관계 예측 및 분류, 정책 분류, 개체명 인식(NER)에 대해 모델을 파인튜닝(fine-tuning)했습니다. 우리의 결과는 이러한 태스크의 대다수에서 범용 언어 모델(LM) 대비 개선된 성과를 보여주며, 도메인 특화 사전학습이 정치 토론 분석의 성능을 어떻게 향상시키는지 강조합니다. 우리는 연구 커뮤니티를 위해 RooseBERT를 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.