arXiv:2411.06213

Incorporating Human Explanations for Robust Hate Speech Detection

Jennifer L. Chen, Faisal Ladhak, Daniel Li, Noémie Elhadad

제출 2024-11-09

원문 초록

Given the black-box nature and complexity of large transformer language models (LM), concerns about generalizability and robustness present ethical implications for domains such as hate speech (HS) detection. Using the content rich Social Bias Frames dataset, containing human-annotated stereotypes, intent, and targeted groups, we develop a three stage analysis to evaluate if LMs faithfully assess hate speech. First, we observe the need for modeling contextually grounded stereotype intents to capture implicit semantic meaning. Next, we design a new task, Stereotype Intent Entailment (SIE), which encourages a model to contextually understand stereotype presence. Finally, through ablation tests and user studies, we find a SIE objective improves content understanding, but challenges remain in modeling implicit intent.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2412.20541v2cs.CL공통 태그 Hate Speech Detection공식 코드 · Papers with Code

SAFE-MEME: 밈에서 견고한 혐오 표현 탐지를 위한 구조화된 추론 프레임워크

SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes

밈은 민감한 아이디어를 공유하는 암호 같은 도구 역할을 하며, 올바르게 해석하려면 종종 맥락적 지식이 필요하다. 이로 인해 다중모달 밈 검열이 어려워지는데, 기존 연구는 미묘한 혐오 카테고리를 위한 고품질 데이터셋이 부족하거나 저품질 소셜 미디어 시각 자료에 의존하기 때문이다. 본 연구에서는 영어 밈으로 구성된 두 가지 새로운 다중모달 혐오 표현 데이터셋인 MHS와 MHS-Con을 구축하였으며, 이들은 각각 일반적 시나리오와 혼동(confounding) 시나리오에서 세분화된 혐오적 추상화를 포착한다. 이 데이터셋들을 여러 경쟁 기준선과 벤치마킹한다. 또한 SAFE-MEME(Structured reAsoning FramEwork)와 두 가지 변형을 제안한다: Q&A 스타일 추론을 활용하는 새로운 다중모달 사고의 연쇄(Chain-of-Thought) 기반 프레임워크(SAFE-MEME-QA)와 계층적 분류(SAFE-MEME-H)로, 밈에서 견고한 혐오 표현 탐지를 가능하게 한다. SAFE-MEME-QA는 가장 강력한 오픈소스 기준선 모델을 능가하며, MHS에서 2%, MHS-Con에서 4.7%의 향상을 보이고, 폐쇄형 모델인 GPT-4o와 Gemini 2.5에 근접한 성능을 달성한다. 반면 SAFE-MEME-H는 SAFE-MEME-QA를 능가하며, 최고의 오픈소스 기준선 대비 3% 향상을 기록하고, MHS에서만 GPT-4o에 필적하는 성능을 달성한다. SAFE-MEME-H 내 단일 층 어댑터의 미세조정이 일반적인 세분화된 혐오 밈 탐지에서 전체 미세조정 모델보다 우수함을 보인다. 그러나 Q&A 설정을 사용한 전체 미세조정 접근법은 혼동 사례 처리에 더 효과적이다. 또한 오류 사례를 체계적으로 분석하여, 혐오 밈 분석을 위한 제안된 구조화된 추론 프레임워크의 견고성과 한계에 대한 유용한 통찰을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.