arXiv:2610.15463v3 cs.AI

MemeLogos: 유해 밈 탐지를 위한 지식 기반 검색 증강 추론

MemeLogos: Knowledge-Driven Retrieval-Augmented Reasoning for Harmful Meme Detection

Hexiang Gu, Saihui Hou, Changlan Liu, Min Ren, Huijia Wu, Hongxun Gu, Zhaofeng He

제출 2026-11-19

한국어 초록

소셜 미디어가 급속히 확산됨에 따라 유해 밈은 온라인 생태계에 대한 위협으로 커지고 있다. 유해성은 시각, 텍스트, 맥락 단서 간의 복잡한 상호작용을 통해 암묵적으로 전달되는 경우가 많아 정확한 탐지가 어렵다. 최근 연구들은 검색 증강 생성(Retrieval-Augmented Generation, RAG)과 외부 지식을 유해 밈 탐지에 도입하였다. 그러나 기존 방법은 주로 유사한 사례나 보조 정보를 검색하는 데 그쳐, 재사용 가능한 유해성 지식과 그 기저의 추론 메커니즘을 포착하는 능력이 제한되며, 그 결과 탐지 성능과 해석 가능성이 모두 제약된다. 이러한 문제를 해결하기 위해 본 논문은 유해 밈 탐지를 위한 지식 기반 검색 증강 추론 프레임워크인 MemeLogos를 제안한다. MemeLogos는 다양한 유해 사례에서 반복적으로 나타나는 유해성 패턴과 추론 구조를 추상화하여 재사용 가능한 지식 단위로 만들고, 이를 전용 별 모양 지식 그래프로 조직한다. MemeLogos는 구조화된 지식 검색과 인지 메커니즘에서 착안한 명시적 다단계 추론 과정을 결합하여, 검색된 지식을 유해성 추론의 지침으로 활용함으로써 탐지 신뢰성과 해석 가능성을 모두 향상시킨다. 광범위한 실험 결과, MemeLogos는 기존 유해 밈 탐지 방법을 일관되게 능가하면서 더 일관되고 해석 가능한 추론을 생성하였으며, 이는 멀티모달 콘텐츠 이해에서 구조화된 유해성 지식이 효과적임을 보여준다.

원문 초록

With the rapid proliferation of social media, harmful memes have become a growing threat to online ecosystems. Their harmfulness is often implicitly conveyed through complex interactions among visual, textual, and contextual cues, making accurate detection challenging. Recent studies have introduced Retrieval-Augmented Generation (RAG) and external knowledge into harmful meme detection. However, existing methods mainly retrieve similar instances or auxiliary information, limiting their ability to capture reusable harmfulness knowledge and underlying reasoning mechanisms, and thus constraining both detection performance and interpretability. To address these challenges, we propose MemeLogos, a knowledge-driven retrieval-augmented reasoning framework for harmful meme detection. MemeLogos abstracts recurring harmfulness patterns and reasoning structures from diverse harmful cases into reusable knowledge units and organizes them into a dedicated star-shaped knowledge graph. By combining structured knowledge retrieval with an explicit multi-stage reasoning process inspired by cognitive mechanisms, MemeLogos leverages retrieved knowledge to guide harmfulness reasoning, improving both detection reliability and interpretability. Extensive experiments show that MemeLogos consistently outperforms existing harmful meme detection methods while generating more coherent and interpretable reasoning, demonstrating the effectiveness of structured harmfulness knowledge for multimodal content understanding.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15463v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.