PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22016v1cs.CV

EVL-MCoT: 유해 밈 탐지를 위한 향상된 비전-언어 Multi-CoT

EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection

밈(MEME)은 인터넷에서 널리 사용되며, 종종 강한 풍자나 아이러니 요소를 담고 있다. 숨겨진 의미를 이해하려면 일반적으로 텍스트와 시각 정보를 함께 해석해야 한다. 기존 방법은 시각과 텍스트를 동시에 추출하기 위해 이중 스트림(dual-stream) 비전-언어 모델에 초점을 맞추는데, 이는 밈에 대한 포괄적 설명과 관련된 배경 정보 및 사전 지식이 부족하다. 하나의 실현 가능한 선택은 사고의 연쇄(Chain-of-Thought, CoT)를 채택하는 것이다. 그러나 단순한 CoT 접근법은 다각적 사고가 부족하여, 결과 답변의 신뢰성을 저해할 수 있다. 게다가 이는 종종 얕은 특징 융합에 의존하며, 국소적 세부 정보와 세밀한 시각-프롬프트 텍스트 정렬의 융합이 부족하다. 이 한계는 시각과 텍스트 간 복잡한 연결에 대한 더 깊은 이해를 방해한다. 이에 본 연구에서는 이러한 한계를 해결하기 위해 향상된 비전-언어 multi-CoT(EVL-MCoT) 접근법을 제안한다. multi-CoT를 촉진함으로써 EVL-MCoT는 일관성을 향상시키고 의사결정 과정에서 바이어스를 줄인다. 또한, 융합 과정을 안내하기 위해 시각적 프로토타입을 통합하고 모델이 텍스트와 시각 정보를 더 정밀하게 정렬할 수 있게 하는 프로토타입 안내 및 컨텍스트 안내 디코딩 프레임워크를 설계한다. HatefulMemes 및 MultiOff 데이터셋에서 유망한 결과를 달성했다. 소스 코드는 공개되어 https://github.com/BGWH123/EVL-MCoT에서 이용할 수 있다.

arXiv:2508.04166v3cs.CV

STEMTOX: From Collaborative Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

Memes, as a widely used mode of online communication, often serve as vehicles for spreading harmful content. However, limitations in data accessibility and the high costs of dataset curation hinder the development of robust meme moderation systems. To address this challenge, in this work, we introduce a first-of-its-kind dataset - TOXICTAGS consisting of 6,300 real-world meme-based posts annotated in two stages: (i) binary classification into toxic and normal, and (ii) fine-grained labelling of toxic memes as hateful, dangerous, or offensive. A key feature of this dataset is that it includes collaborative tags associated with the original posts, enhancing the context of each meme. In addition, we propose a novel entropy-guided multi-tasking framework -- STEMTOX -- that leverages these collaborative tags alongside visual and textual inputs within a robust classification framework. Experimental results show that incorporating these tags substantially enhances the performance of state-of-the-art VLMs in toxicity detection tasks. Our contributions offer a novel and scalable foundation for improved content moderation in multimodal online environments. Warning: Contains potentially toxic contents.