Exploring Large Language Models for Hate Speech Detection in Rioplatense Spanish
원문 초록
Hate speech detection deals with many language variants, slang, slurs, expression modalities, and cultural nuances. This outlines the importance of working with specific corpora, when addressing hate speech within the scope of Natural Language Processing, recently revolutionized by the irruption of Large Language Models. This work presents a brief analysis of the performance of large language models in the detection of Hate Speech for Rioplatense Spanish. We performed classification experiments leveraging chain-of-thought reasoning with ChatGPT 3.5, Mixtral, and Aya, comparing their results with those of a state-of-the-art BERT classifier. These experiments outline that, even if large language models show a lower precision compared to the fine-tuned BERT classifier and, in some cases, they find hard-to-get slurs or colloquialisms, they still are sensitive to highly nuanced cases (particularly, homophobic/transphobic hate speech). We make our code and models publicly available for future research.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SAFE-MEME: 밈에서 견고한 혐오 표현 탐지를 위한 구조화된 추론 프레임워크
SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes
밈은 민감한 아이디어를 공유하는 암호 같은 도구 역할을 하며, 올바르게 해석하려면 종종 맥락적 지식이 필요하다. 이로 인해 다중모달 밈 검열이 어려워지는데, 기존 연구는 미묘한 혐오 카테고리를 위한 고품질 데이터셋이 부족하거나 저품질 소셜 미디어 시각 자료에 의존하기 때문이다. 본 연구에서는 영어 밈으로 구성된 두 가지 새로운 다중모달 혐오 표현 데이터셋인 MHS와 MHS-Con을 구축하였으며, 이들은 각각 일반적 시나리오와 혼동(confounding) 시나리오에서 세분화된 혐오적 추상화를 포착한다. 이 데이터셋들을 여러 경쟁 기준선과 벤치마킹한다. 또한 SAFE-MEME(Structured reAsoning FramEwork)와 두 가지 변형을 제안한다: Q&A 스타일 추론을 활용하는 새로운 다중모달 사고의 연쇄(Chain-of-Thought) 기반 프레임워크(SAFE-MEME-QA)와 계층적 분류(SAFE-MEME-H)로, 밈에서 견고한 혐오 표현 탐지를 가능하게 한다. SAFE-MEME-QA는 가장 강력한 오픈소스 기준선 모델을 능가하며, MHS에서 2%, MHS-Con에서 4.7%의 향상을 보이고, 폐쇄형 모델인 GPT-4o와 Gemini 2.5에 근접한 성능을 달성한다. 반면 SAFE-MEME-H는 SAFE-MEME-QA를 능가하며, 최고의 오픈소스 기준선 대비 3% 향상을 기록하고, MHS에서만 GPT-4o에 필적하는 성능을 달성한다. SAFE-MEME-H 내 단일 층 어댑터의 미세조정이 일반적인 세분화된 혐오 밈 탐지에서 전체 미세조정 모델보다 우수함을 보인다. 그러나 Q&A 설정을 사용한 전체 미세조정 접근법은 혼동 사례 처리에 더 효과적이다. 또한 오류 사례를 체계적으로 분석하여, 혐오 밈 분석을 위한 제안된 구조화된 추론 프레임워크의 견고성과 한계에 대한 유용한 통찰을 제공한다.
AmpleHate: Amplifying the Attention for Versatile Implicit Hate Detection
All You Need is "Leet": Evading Hate-speech Detection AI
Personalisation or Prejudice? Addressing Geographic Bias in Hate Speech Detection using Debias Tuning in Large Language Models
Improving Hate Speech Classification with Cross-Taxonomy Dataset Integration
Evaluation of Hate Speech Detection Using Large Language Models and Geographical Contextualization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.