arXiv:2608.01291v1 cs.CL

ArabicDialectSafety: 아랍어 콘텐츠 안전성 분류를 위한 방언 인식 벤치마크

ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification

Wajdi Zaghouani, Md. Rafiul Biswas, Kholoud Khalil Aldous, Mabrouka Bessghaier

제출 2026-08-02

한국어 초록

본 논문에서는 현대 표준 아랍어, 시리아어, 이집트어, 알제리어, 팔레스타인어, 모로코어의 6가지 아랍어 변종을 포괄하는 25,071개의 프롬프트로 구성된 사람이 큐레이션한 아랍어 안전성(safety) 데이터셋인 ArabicDialectSafety를 제시한다. 이 데이터셋은 방언 레이블과 7가지의 세부적인 위해 범주로 주석 처리되어 있다. 저자들은 방언 전반에 걸친 이진 안전/불안전 탐지 및 세부 위해 분류를 위한 이중 과제 평가 프레임워크를 도입한다. 7개의 지도학습 및 생성 모델을 벤치마킹한 결과, 파인튜닝된 MARBERTv2가 이진 분류에서 0.95, 세부 분류에서 0.90의 매크로 F1 점수를 기록하며 가장 강력한 성능을 달성했으며, 아랍어 특화 모델을 포함하여 프롬프트가 적용된 프론티어 대규모 언어 모델(LLM)들을 크게 능가함을 확인했다. 분석에 따르면 방언 조건화는 표현 수준에서 통합될 때 가장 효과적이었던 반면, 저자원 마그레브 방언에 대해서는 상당한 성능 격차가 여전히 남아 있었다. 나아가 유해한 방언 아랍어 프롬프트에 대해 7개의 프론티어 LLM을 응답 생성기로서 평가했으며, 모든 모델에서 안전하지 않은 생성 비율이 5% 미만임을 관찰했다. 저자들은 방언 인식이 가능한 아랍어 안전성 평가에 관한 향후 연구를 지원하기 위해 논문 채택 시 데이터셋과 코드를 공개한다. 경고: 본 논문에는 순수 연구 목적으로 포함된 유해하고 잠재적으로 공격적인 콘텐츠의 예시가 포함되어 있다.

원문 초록

We present ArabicDialectSafety, a human-curated Arabic safety dataset of 25,071 prompts covering six Arabic varieties: Modern Standard Arabic, Syrian, Egyptian, Algerian, Palestinian, and Moroccan. The dataset is annotated with dialect labels and seven fine-grained harm categories. We introduce a dual-task evaluation framework for binary safe/unsafe detection and granular harm classification across dialects. Benchmarking seven supervised and generative models, we find that fine-tuned MARBERTv2 achieves the strongest performance, with Macro-F1 scores of 0.95 for binary classification and 0.90 for granular classification, substantially outperforming prompted frontier LLMs, including Arabic-specialized models. Our analyses show that dialect conditioning is most effective when integrated at the representation level, while significant performance gaps remain for low-resource Maghrebi dialects. We further evaluate seven frontier LLMs as response generators on harmful dialectal Arabic prompts and observe unsafe generation rates below 5 percent across models. We release the dataset and code upon acceptance to support future research on dialect-aware Arabic safety evaluation. Warning: This paper contains examples of harmful and potentially offensive content included solely for research purposes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.01291v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.