아랍어 언어 모델의 적대적 강건성 평가
Evaluation of Adversarial Robustness in Arabic Language Models
한국어 초록
최근 아랍어 언어 모델(Arabic Language Models)의 뛰어난 성능이 부각되면서 취약점 노출 가능성 또한 열리게 되었습니다. 이러한 자연어 처리(NLP) 모델과 관련된 주요 보안 위험 중 하나는 적대적 공격(adversarial attack)입니다. 이러한 공격은 모델을 속여 잘못된 예측을 유도함으로써 모델의 보안 및 안전성(safety)에 중대한 문제를 제기합니다. 본 연구는 다양한 세분성 수준과 서로 다른 예제 생성 전략을 적용한 일련의 고유한 아랍어 적대적 공격 하에서 다섯 가지 최첨단 아랍어 언어 모델의 강건성을 평가하는 것을 목표로 합니다. 또한 모델 강건성을 향상하기 위해 적대적 학습(adversarial training) 기반의 방어 기법을 탐색합니다. 실험 결과, 모음 부호(diacritics) 삽입은 낮은 섭동(perturbation) 거리를 유지하면서도 일부 모델의 정확도를 92%까지 감소시킬 수 있음을 보여줍니다. 단어 수준 공격의 경우, 아랍어 접속사를 조작하면 높은 의미론적 유사도 점수와 낮은 섭동 거리를 유지하면서 최대 58%의 정확도 저하를 초래합니다. 문장 수준 공격에서는 패러프레이징(paraphrasing)이 공격 대상 모델의 성능을 평균 76% 감소시키며 효과적인 것으로 입증되었습니다. 적대적 학습은 전반적인 복원력을 향상하여 MARBERT가 가장 강건하고 AraBERT가 가장 큰 상대적 개선을 보였으나, 특히 문자 수준 노이즈에 대해서는 여전히 어려움이 남아 있습니다. 이러한 발견은 아랍어와 같은 형태학적으로 풍부한 언어에서 현재 방어 전략의 잠재력과 한계를 모두 강조합니다.
원문 초록
The emergence of the recent outstanding capabilities of Arabic Language Models has opened doors for exposing their vulnerabilities. One of the major security risks associated with such Natural Language Processing models is adversarial attacks. These attacks can deceive the model into the wrong prediction, raising critical model security and safety concerns. This study aims to assess the robustness of five state-of-the-art Arabic Language Models under a distinct set of Arabic adversarial attacks applied at various levels of granularity and using different example generation strategies. We also explore a defense technique based on adversarial training to enhance model robustness. The results show that insertion of diacritics can reduce the accuracy of some models by 92% while maintaining a low perturbation distance. For word-level attacks, manipulating Arabic conjunctions preserves high semantic similarity scores, low perturbation distance, and leads to an accuracy degradation of up to 58%. For sentence-level attacks, paraphrasing proves its effectiveness by an average reduction of 76% in the victim models' performance. While adversarial training improves overall resilience, with MARBERT being the most robust and AraBERT showing the greatest relative gains, challenges persist, particularly against character-level noise. These findings highlight both the potential and limitations of current defense strategies in morphologically rich languages like Arabic.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.25814v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.