arXiv:2611.24383v1 cs.CL

다수결 레이블이 감추는 것: 다중 방언 아랍어 성차별 탐지에서의 주석자 불일치와 모델 오류

What Majority Labels Hide: Annotator Disagreement and Model Errors in Multi-Dialect Arabic Sexism Detection

Alaa Bazaid, Arkaitz Zubiaga

제출 2026-11-19

한국어 초록

성차별 여부에 대한 판단은 주관적이며 공동체에 따라 다를 수 있지만, 성차별 탐지 데이터셋은 대개 주석자의 판단을 단일 다수결 레이블로 축약하여 불일치와 모델이 논쟁적 사례에서 보이는 행동을 가린다. 본 논문은 사우디, 이집트, 모로코 아랍어로 된 YouTube 댓글 데이터셋 MuDAS를 소개한다. 각 댓글은 해당 방언의 원어민 세 명이 레이블링했으며 개별 주석이 보존되어 있다. 이를 이용하여 하드 레이블, 소프트 레이블, 관점주의적 목적함수로 미세 조정한 아랍어 인코더, GPT-5.6 Terra, 그리고 아랍어 중심의 대규모 언어 모델 네 개를 평가한다. 모델 오류는 주석자 간 불일치가 있는 댓글에서 더 자주 발생한다. Macro-F1 점수가 비교적 비슷함에도 GPT-5.6 Terra와 미세 조정된 인코더는 대조적인 오류 양상을 보인다. GPT-5.6 Terra는 주석자의 성차별 정의를 제공받은 경우에도 정숙함에 관한 종교적 조언 같은 성별 관련 내용을 과도하게 분류하는 반면, 인코더는 암묵적이고 규범적인 성차별을 놓친다. 아랍어 중심 모델 또한 성차별을 과대 예측하며 인코더에 미치지 못한다. 불일치 인식 학습은 Macro-F1을 유지하지만, 소프트 레이블은 논쟁적 댓글에서 주석자와의 정렬을 개선하는 대신 만장일치 댓글에서는 이를 희생하며, 어느 패러다임도 논쟁적 댓글을 안정적으로 식별하지 못한다. 특히 대규모 언어 모델에서 가장 뚜렷한 이집트 아랍어에서의 낮은 성능은 검토한 테스트 세트 구성 및 방언성 측정치로는 완전히 설명되지 않는다. 따라서 다수결 레이블 점수는 콘텐츠 조정에서 중요한 대조적 오류 양상을 감출 수 있다.

원문 초록

Judgements of sexism are subjective and may vary across communities, yet sexism detection datasets usually reduce annotator judgements to a single majority label, obscuring disagreement and how models behave on contested cases. We introduce MuDAS, a dataset of YouTube comments in Saudi, Egyptian and Moroccan Arabic, each labelled by three native speakers of its dialect, with the individual annotations preserved. We use it to evaluate Arabic encoders fine-tuned with hard-label, soft-label and perspectivist objectives, GPT-5.6 Terra, and four Arabic-centric large language models. Model errors are more frequent on comments with annotator disagreement. Despite relatively close Macro-F1 scores, GPT-5.6 Terra and the fine-tuned encoders exhibit contrasting error patterns: GPT-5.6 Terra, even with the annotators' definition of sexism, over-classifies gender-related content such as religious advice on modesty, whereas the encoders miss implicit and prescriptive sexism. The Arabic-centric models also over-predict sexism and remain below the encoders. Disagreement-aware learning preserves Macro-F1, but soft labels improve alignment with annotators on contested comments at the expense of unanimous ones, and neither paradigm reliably identifies contested comments. Lower performance on Egyptian Arabic, clearest for the large language models, is not fully explained by the examined measures of test-set composition and dialectness. Majority-label scores can therefore hide contrasting error patterns that matter for content moderation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24383v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.