arXiv:2609.20962v1 cs.CV

MemeTAG: 태그 임베딩 재구성을 통한 키워드 기반 밈 분류

MemeTAG: Keyword-Driven Meme Classification through Tag Embedding Reconstruction

Akshit Sharma, Prashant W. Patil

제출 2026-09-21

한국어 초록

유해한 인터넷 밈의 확산은 심각한 사회적 위협이 되고 있으나, 밈 콘텐츠가 지닌 미묘하고 멀티모달한 특성 때문에 자동 분류는 여전히 매우 어려운 알고리즘적 과제로 남아 있다. 이를 해결하기 위해 본 논문에서는 밈 분류에 키워드 인식(keyword-aware) 접근법을 선도적으로 도입한 새로운 이중 목적(dual-objective) 프레임워크인 MemeTAG를 제안한다. 핵심 혁신은 두 부분으로 구성된 의미 가이던스 메커니즘이다. 첫째, 사전학습된 비전-언어 모델(Vision-Language Model)을 활용하여 고수준 의미를 포착하는 설명적 키워드 집합을 생성한다. 둘째, 이러한 키워드를 하나의 풍부한 의미 임베딩으로 압축하는 어텐션 기반 모듈인 ATIN(Aggregated Tag Inference Network)을 도입한다. 이 임베딩은 새로운 보조 재구성 손실의 타깃으로 사용되며, 모델이 시각적 특징과 텍스트 특징을 깊이 정렬하여 학습하도록 유도한다. 이러한 접근법은 효율적인 3단계 학습 전략과 결합되어 HarMeme, Hateful Memes Challenge(HMC), PrideMM 데이터셋에서 새로운 최고 성능(state-of-the-art)을 달성하며, 기존 최고 성능 방법들을 확연히 능가한다.

원문 초록

The proliferation of harmful internet memes poses a significant societal threat, yet their automated classification remains a formidable algorithmic challenge due to the nuanced, multimodal nature of their content. To address this, we introduce MemeTAG, a novel dual-objective framework that pioneers a keyword-aware approach to meme classification. Our core innovation is a two-part semantic guidance mechanism: first, we leverage a pretrained Vision-Language Model to generate a set of descriptive keywords, that capture the high-level semantics. Second, we introduce the Aggregated Tag Inference Network (ATIN), an attention-based module that distills these keywords into a single, rich semantic embedding. This embedding serves as a target for a novel auxiliary reconstruction loss, which compels the model to learn deeply aligned visual and textual features. This approach, combined with an efficient three-stage training strategy, establishes a new state-of-the-art on the HarMeme, Hateful Memes Challenge (HMC), and PrideMM datasets, decisively outperforming existing state-of-the-art methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.20962v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.