arXiv:2610.16957v2 cs.CL

SarcasTraps: 풍자가 튀르키예어 혐오 표현 탐지에 미치는 영향

SarcasTraps: Effect of Sarcasm on Turkish Hate Speech Detection

Niyazi Ahmet Metin, Dilara Kek\"ull\"uo\u{g}lu

제출 2026-10-12

한국어 초록

표준 혐오 표현 탐지 데이터셋은 명시적인 유해 언어에 주목하는 경우가 많지만, 특정 대상을 향한 해악은 뚜렷이 혐오적인 표현 없이 간접적으로도 나타날 수 있다. 풍자는 조롱 섞인 칭찬, 과장, 유머, 또는 겉보기의 공손함을 통해 해로운 의도를 전달할 수 있는 간접 표현의 한 형태이다. 본 논문에서는 풍자가 튀르키예어 혐오 표현 탐지에 미치는 영향을 분석하기 위한 목적형 외부 테스트 세트인 SarcasTraps를 소개한다. SarcasTraps는 혐오 표현과 풍자라는 두 차원으로 주석된 479개의 항목을 포함한다. 우리는 기존 튀르키예어 혐오 표현 데이터셋 두 개로 BERTurk와 XLM-RoBERTa 분류기를 학습시키고, SarcasTraps를 엄격히 외부 테스트 세트로만 사용하여 평가한다. 또한 GPT-4.1과 Llama-3.3-70B를 제로샷 설정에서 SarcasTraps로 평가한다. 결과는 풍자가 혐오 표현 탐지에 상당한 영향을 미친다는 것을 보여 준다. 미세조정된 인코더 모델은 풍자적 혐오에서 재현율이 떨어지는 반면, 제로샷 LLM은 더 높은 재현율을 유지하지만 풍자적 예시에서 정밀도가 크게 하락한다. 이러한 발견은 미세조정된 혐오 표현 탐지기와 제로샷 LLM 모두 풍자가 개입되면 어려움을 겪음을 보여 주며, SarcasTraps는 목적형 튀르키예어 테스트 세트를 통해 이 과제에 대한 정량적 증거를 제공한다. 민감하고 혐오적인 언어가 포함되어 있으므로, SarcasTraps는 학술 연구 목적에 한해 요청 시 공유될 것이다. 경고: 이 논문에는 특정 집단에 대한 모욕적이고 혐오적인 내용을 담은 데이터셋의 예시가 포함되어 있다.

원문 초록

Standard hate speech detection datasets often emphasize explicit harmful language, but directed harm can also be expressed indirectly, without clearly hateful wording. Sarcasm is one such form of indirect expression, as it can convey harmful intent through mock praise, exaggeration, humor, or apparent politeness. In this paper, we introduce SarcasTraps, a targeted external test set for analyzing the effect of sarcasm on Turkish hate speech detection. SarcasTraps contains 479 entries annotated along two dimensions: hate speech and sarcasm. We train classifiers using BERTurk and XLM-RoBERTa on two existing Turkish hate speech datasets and evaluate them on SarcasTraps, using it strictly as an external test set. We also evaluate GPT-4.1 and Llama-3.3-70B in a zero-shot setting on SarcasTraps. Results show that sarcasm substantially affects hate speech detection. Fine-tuned encoder models lose recall on sarcastic hate, while zero-shot LLMs maintain higher recall but suffer substantial precision drops on sarcastic examples. These findings show that both fine-tuned hate speech detectors and zero-shot LLMs struggle when sarcasm is involved, and SarcasTraps provides quantitative evidence of this challenge through a targeted Turkish test set. Due to the presence of sensitive and hateful language, SarcasTraps will be shared upon request for academic research purposes. Warning: This paper has examples from the dataset which contains offensive and hateful content towards groups of people.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.16957v2제출 시각 미확인
  2. arXiv:2610.16957v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.