arXiv:2311.12699

Explore the Potential of LLMs in Misinformation Detection: An Empirical Study

Mengyang Chen, Lingwei Wei, Han Cao, Wei Zhou, Songlin Hu

제출 2023-11-21

원문 초록

Large Language Models (LLMs) have garnered significant attention for their powerful ability in natural language understanding and reasoning. In this paper, we present a comprehensive empirical study to explore the performance of LLMs on misinformation detection tasks. This study stands as the pioneering investigation into the understanding capabilities of multiple LLMs regarding both content and propagation across social media platforms. Our empirical studies on eight misinformation detection datasets show that LLM-based detectors can achieve comparable performance in text-based misinformation detection but exhibit notably constrained capabilities in comprehending propagation structure compared to existing models in propagation-based misinformation detection. Our experiments further demonstrate that LLMs exhibit great potential to enhance existing misinformation detection models. These findings highlight the potential ability of LLMs to detect misinformation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.12186v2cs.CL공통 태그 Natural Language Understanding, Misinformation

논쟁적 정치 담론에서의 암묵적 전제(Enthymeme) 탐지를 위한 리소스

A Resource for Enthymeme Detection in Controversial Political Discourse

암묵적 전제(Enthymeme)는 명시되지 않은 전제나 결론을 포함하는 논증으로, 설득적인 담론에 널리 퍼져 있으나 이에 대한 주석 달기는 여전히 악명 높을 정도로 주관적입니다. 우리는 라벨 변동성을 연구하기 위해 설계된, 정치적으로 논쟁적인 담론의 1,482개 트윗으로 구성된 리소스를 제시합니다. 이 데이터는 5명의 주석자가 암묵적 전제의 존재 여부와 그 논증 구조에 대해 주석을 달았습니다. 우리는 먼저 암묵적 전제의 정의를 재조명하고 월튼(Walton)의 논증 스킴에 기반을 둔 주석 가이드라인을 제안하며, 이는 구조적이고 제한적인 접근 방식을 제공하면서도 과제의 해석적 성격을 고려한 여지를 보존합니다. 이는 불일치를 제거하는 경향이 있어 그 원인을 모호하게 만들고 모델 성능에 미칠 수 있는 잠재적 이점에 대한 조사를 방해했던 과거의 리소스와 대조됩니다. 또한, 우리는 과제의 복잡도 분석을 제안하여 주석 작업이 높은 인지 부하를 주고 주석 불일치를 야기할 수 있는 지점을 식별합니다. 우리의 예비 실험에 따르면, 주석자 불일치로 학습된 모델이 단순 다수결 라벨로 학습된 모델보다 성능이 더 뛰어납니다. 마지막으로, 암묵적 전제의 정의와 가이드라인에 있는 구조적 개방성이 인간 추론과 관련된 미래의 리소스 및 다운스트림 자연어 처리(NLP) 애플리케이션을 위해 주관적 추론 과정의 변동성 연구를 어떻게 가능하게 하는지 고찰합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.