STEMTOX: From Collaborative Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning
원문 초록
Memes, as a widely used mode of online communication, often serve as vehicles for spreading harmful content. However, limitations in data accessibility and the high costs of dataset curation hinder the development of robust meme moderation systems. To address this challenge, in this work, we introduce a first-of-its-kind dataset - TOXICTAGS consisting of 6,300 real-world meme-based posts annotated in two stages: (i) binary classification into toxic and normal, and (ii) fine-grained labelling of toxic memes as hateful, dangerous, or offensive. A key feature of this dataset is that it includes collaborative tags associated with the original posts, enhancing the context of each meme. In addition, we propose a novel entropy-guided multi-tasking framework -- STEMTOX -- that leverages these collaborative tags alongside visual and textual inputs within a robust classification framework. Experimental results show that incorporating these tags substantially enhances the performance of state-of-the-art VLMs in toxicity detection tasks. Our contributions offer a novel and scalable foundation for improved content moderation in multimodal online environments. Warning: Contains potentially toxic contents.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2508.04166v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Semalith v1.4: Llama-Guard-3-8B 대비 매개변수 44배 적은 보정 184M 안전 분류기로 SOTA 프롬프트 인젝션 탐지 달성
Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B
금융 서비스 및 에이전트 환경에서 대규모 언어 모델(LLM)을 배포하려면 프롬프트 인젝션, 규제 준수, 일반 유해를 동시에 처리하는 안전 분류기가 필요하지만, 기존 공개 가드레일 중 단일 추론 패스로 이 조합을 처리하는 것은 없다. Semalith v1.4는 단일 순전파로 프롬프트 인젝션, 일반 유해, 금융 서비스 규제 준수를 포함한 3축 안전 분류를 동시에 수행하는 184M 매개변수 DeBERTa-v3-base 분류기이다. 22클래스 헤드(BENIGN, 프롬프트 인젝션 하위 유형 9개, general-harm, BFSI 레이블 11개)는 공동 가중 손실 하에 4클래스 보조 상위 카테고리 헤드와 함께, 49개 공개 출처에서 채굴된 76,204행 코퍼스로 학습되었으며, 모든 홀드아웃 평가 세트에 대해 SHA-1 중복 제거를 적용했고, 22개 벤치마크 중 21개는 오염이 0(최대 0.22%)이다. 22개 홀드아웃 벤치마크에서 Llama-Guard-3-8B와 비교할 때, Semalith v1.4는 매개변수 44배 적음에도 프롬프트 인젝션 평가(7/7)에서 모두 승리하고 전체 18개 벤치마크 중 11개에서 우수하며, 208개의 무해한 에이전트 프롬프트에서 FPR = 0.000(Llama-Guard-3-8B는 0.063)을 기록했다. 일반 유해 벤치마크(WildGuardMix, HEx-PHI, HarmBench)에서는 Llama-Guard-3가 앞서며, 이러한 상보적 분할은 Section 4에 기술되어 있다. 6가지 측정된 약점은 Section 6에 공개되어 있다. 배포 가이드: 대화형 조정 배포에는 v1.3을 권장한다(ToxicChat F1 0.624); BFSI 레이블 커버리지 또는 무해한 에이전트 프롬프트에서의 zero-FPR이 우선일 때는 v1.4를 권장한다.
RMS@CC-MMD 2026: 기하학적 상호작용과 다중 관점 합의를 통한 멀티모달 여성혐오 탐지
RMS@CC-MMD 2026: Multimodal Misogyny Detection via Geometric Interaction and Multi-View Consensus
인터넷 밈의 확산은 자동화된 콘텐츠 모더레이션, 특히 여성혐오 탐지에 새로운 복잡성을 도입했다. 밈은 종종 시각·텍스트 모달리티 간의 의미적 충돌에 의존하며, 여기서 혐오적 의도는 암묵적이고 문화적으로 기반을 둔다. 본 논문은 ICMI 2026 CC-MMD Grand Challenge를 위해 개발된 GeoMVC(Geometric Interaction and Multi-View Consensus)를 제시한다. 정적 특징 결합의 한계를 해결하기 위해, 동결된 시각·텍스트 임베딩 간 Hadamard 곱과 코사인 유사도를 통해 교차 모달리티 정렬을 모델링하는 기하학적 상호작용 층(Geometric Interaction Layer)을 제안한다. 또한 노이즈가 있는 OCR과 코드 혼합 음역으로 인한 분포 이동을 다중 관점 합의(Multi-View Consensus) 전략으로 완화하며, 원문, 길이 필터링, 영어 번역 텍스트 관점에 걸친 예측을 집계한다. 이 시스템은 Task A에서 Malayalam 파티션 2위(Macro F1: 0.892), Chinese 파티션 3위(Macro F1: 0.895)를 달성했으며, Tamil 파티션에서는 5위(Macro F1: 0.521)를 기록했다. 개발 파티션에 대한 상세 오류 분석은 Dravidian 및 중국 문화 맥락에서 지역화된 음역과 코드 혼합 풍자를 모델링하는 데 남아 있는 과제를 부각한다.
마스토돈 커뮤니티의 독성 행동 분석과 그 영향
Analyzing Toxic Behavior and Its Impact on the Mastodon Community
독립적으로 중재되는 소셜 서버들의 탈중앙화 연합인 마스토돈(Mastodon)은 독성 콘텐츠의 탐지와 완화에 고유한 과제를 제기한다. 통일된 중재 기준이 없다. 생태계는 매우 다양하고 불균등하다. 본 논문은 머신러닝(machine learning) 방법을 활용해 사용자 게시물을 분석함으로써 마스토돈에서 독성(toxicity)의 발생과 확산을 탐구한다. 결과는 독성 추세와 커뮤니티 건강 및 탈중앙화 거버넌스에 대한 함의를 명확히 제시한다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가
Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh
AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.
Jev 스타일 타입 기반 결정 모델에서 레이블이 정의를 압도하는 현상
Labels Override Definitions in Jev-Style Typed Decision Models
타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.