arXiv:2410.07991

Human and LLM Biases in Hate Speech Annotations: A Socio-Demographic Analysis of Annotators and Targets

Tommaso Giorgi, Lorenzo Cima, Tiziano Fagni, Marco Avvenuti, Stefano Cresci

제출 2024-10-10

원문 초록

The rise of online platforms exacerbated the spread of hate speech, demanding scalable and effective detection. However, the accuracy of hate speech detection systems heavily relies on human-labeled data, which is inherently susceptible to biases. While previous work has examined the issue, the interplay between the characteristics of the annotator and those of the target of the hate are still unexplored. We fill this gap by leveraging an extensive dataset with rich socio-demographic information of both annotators and targets, uncovering how human biases manifest in relation to the target's attributes. Our analysis surfaces the presence of widespread biases, which we quantitatively describe and characterize based on their intensity and prevalence, revealing marked differences. Furthermore, we compare human biases with those exhibited by persona-based LLMs. Our findings indicate that while persona-based LLMs do exhibit biases, these differ significantly from those of human annotators. Overall, our work offers new and nuanced results on human biases in hate speech annotations, as well as fresh insights into the design of AI-driven hate speech detection systems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2412.20541v2cs.CL공통 태그 Hate Speech Detection공식 코드 · Papers with Code

SAFE-MEME: 밈에서 견고한 혐오 표현 탐지를 위한 구조화된 추론 프레임워크

SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes

밈은 민감한 아이디어를 공유하는 암호 같은 도구 역할을 하며, 올바르게 해석하려면 종종 맥락적 지식이 필요하다. 이로 인해 다중모달 밈 검열이 어려워지는데, 기존 연구는 미묘한 혐오 카테고리를 위한 고품질 데이터셋이 부족하거나 저품질 소셜 미디어 시각 자료에 의존하기 때문이다. 본 연구에서는 영어 밈으로 구성된 두 가지 새로운 다중모달 혐오 표현 데이터셋인 MHS와 MHS-Con을 구축하였으며, 이들은 각각 일반적 시나리오와 혼동(confounding) 시나리오에서 세분화된 혐오적 추상화를 포착한다. 이 데이터셋들을 여러 경쟁 기준선과 벤치마킹한다. 또한 SAFE-MEME(Structured reAsoning FramEwork)와 두 가지 변형을 제안한다: Q&A 스타일 추론을 활용하는 새로운 다중모달 사고의 연쇄(Chain-of-Thought) 기반 프레임워크(SAFE-MEME-QA)와 계층적 분류(SAFE-MEME-H)로, 밈에서 견고한 혐오 표현 탐지를 가능하게 한다. SAFE-MEME-QA는 가장 강력한 오픈소스 기준선 모델을 능가하며, MHS에서 2%, MHS-Con에서 4.7%의 향상을 보이고, 폐쇄형 모델인 GPT-4o와 Gemini 2.5에 근접한 성능을 달성한다. 반면 SAFE-MEME-H는 SAFE-MEME-QA를 능가하며, 최고의 오픈소스 기준선 대비 3% 향상을 기록하고, MHS에서만 GPT-4o에 필적하는 성능을 달성한다. SAFE-MEME-H 내 단일 층 어댑터의 미세조정이 일반적인 세분화된 혐오 밈 탐지에서 전체 미세조정 모델보다 우수함을 보인다. 그러나 Q&A 설정을 사용한 전체 미세조정 접근법은 혼동 사례 처리에 더 효과적이다. 또한 오류 사례를 체계적으로 분석하여, 혐오 밈 분석을 위한 제안된 구조화된 추론 프레임워크의 견고성과 한계에 대한 유용한 통찰을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.