Combat COVID-19 Infodemic Using Explainable Natural Language Processing Models
원문 초록
Misinformation of COVID-19 is prevalent on social media as the pandemic unfolds, and the associated risks are extremely high. Thus, it is critical to detect and combat such misinformation. Recently, deep learning models using natural language processing techniques, such as BERT (Bidirectional Encoder Representations from Transformers), have achieved great successes in detecting misinformation. In this paper, we proposed an explainable natural language processing model based on DistilBERT and SHAP (Shapley Additive exPlanations) to combat misinformation about COVID-19 due to their efficiency and effectiveness. First, we collected a dataset of 984 claims about COVID-19 with fact checking. By augmenting the data using back-translation, we doubled the sample size of the dataset and the DistilBERT model was able to obtain good performance (accuracy: 0.972; areas under the curve: 0.993) in detecting misinformation about COVID-19. Our model was also tested on a larger dataset for AAAI2021 - COVID-19 Fake News Detection Shared Task and obtained good performance (accuracy: 0.938; areas under the curve: 0.985). The performance on both datasets was better than traditional machine learning models. Second, in order to boost public trust in model prediction, we employed SHAP to improve model explainability, which was further evaluated using a between-subjects experiment with three conditions, i.e., text (T), text+SHAP explanation (TSE), and text+SHAP explanation+source and evidence (TSESE). The participants were significantly more likely to trust and share information related to COVID-19 in the TSE and TSESE conditions than in the T condition. Our results provided good implications in detecting misinformation about COVID-19 and improving public trust.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RealFactBench: A Benchmark for Evaluating Large Language Models in Real-World Fact-Checking
SUCEA: Reasoning-Intensive Retrieval for Adversarial Fact-checking through Claim Decomposition and Editing
KGAlign: Joint Semantic-Structural Knowledge Encoding for Multimodal Fake News Detection
Is Less Really More? Fake News Detection with Limited Information
불안의 메아리: 가짜 뉴스 및 폭력 유발 집단 행동의 조기 경보를 위한 멀티모달 자연어 처리 프레임워크
Echoes of Unrest: A Multimodal NLP Framework for Early Warning of Fake News and Violence-Driven Mob Activity
소셜 미디어의 급격한 성장은 신속한 정보 교환을 가능하게 함으로써 전 세계 커뮤니케이션을 변화시켰지만, 동시에 잘못된 정보의 확산을 가속화하였다. 가짜 뉴스, 조작된 콘텐츠, 자극적인 서사는 사회적 불안, 정치적 불안정, 집단 폭력과 점점 더 깊이 연관되고 있다. 남아시아 및 기타 지역의 사례들은 Facebook과 WhatsApp 같은 플랫폼을 통해 유포된 허위 정보가 실제 피해를 초래할 수 있음을 보여주며, 이는 팩트체킹 노력이 대응하는 속도보다 빠르게 확산되는 경우가 많다. 이 문제를 해결하기 위해, 본 장에서는 잘못된 정보와 폭력 위험 역학의 조기 탐지를 위한 다국어 멀티모달 자연어 처리(NLP) 프레임워크를 제시한다. 여러 벤치마크 데이터셋을 결합하여 벵골어(Bangla)와 영어 샘플 138,256개로 구성된 융합 데이터셋을 구축하였다. 본 프레임워크는 다국어 텍스트 표현을 위한 XLM-RoBERTa, 시각적 임베딩을 위한 CLIP, 멀티모달 융합을 위한 멀티헤드 어텐션(multi-head attention) 메커니즘을 통합하며, 풍자(sarcasm) 및 지리공간 메타데이터와 같은 보조 특징으로 강화되었다. 계층적 30% 서브셋에 대한 실험에서 높은 정밀도와 재현율을 유지하며 98%의 테스트 정확도를 달성하였다. 실험 결과는 조기 잘못된 정보 탐지에서 멀티모달 접근법의 효과를 입증하며, 실제 상황의 갈등 고조를 예측하는 데 있어 지리공간 신호의 부가적 가치를 강조한다.
KEN: Knowledge Augmentation and Emotion Guidance Network for Multimodal Fake News Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.