Large Visual-Language Models Are Also Good Classifiers: A Study of In-Context Multimodal Fake News Detection
원문 초록
Large visual-language models (LVLMs) exhibit exceptional performance in visual-language reasoning across diverse cross-modal benchmarks. Despite these advances, recent research indicates that Large Language Models (LLMs), like GPT-3.5-turbo, underachieve compared to well-trained smaller models, such as BERT, in Fake News Detection (FND), prompting inquiries into LVLMs' efficacy in FND tasks. Although performance could improve through fine-tuning LVLMs, the substantial parameters and requisite pre-trained weights render it a resource-heavy endeavor for FND applications. This paper initially assesses the FND capabilities of two notable LVLMs, CogVLM and GPT4V, in comparison to a smaller yet adeptly trained CLIP model in a zero-shot context. The findings demonstrate that LVLMs can attain performance competitive with that of the smaller model. Next, we integrate standard in-context learning (ICL) with LVLMs, noting improvements in FND performance, though limited in scope and consistency. To address this, we introduce the \textbf{I}n-context \textbf{M}ultimodal \textbf{F}ake \textbf{N}ews \textbf{D}etection (IMFND) framework, enriching in-context examples and test inputs with predictions and corresponding probabilities from a well-trained smaller model. This strategic integration directs the LVLMs' focus towards news segments associated with higher probabilities, thereby improving their analytical accuracy. The experimental results suggest that the IMFND framework significantly boosts the FND efficiency of LVLMs, achieving enhanced accuracy over the standard ICL approach across three publicly available FND datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Collaborative Evolution: Multi-Round Learning Between Large and Small Language Models for Emergent Fake News Detection
Assay2Mol: large language model-based drug design using BioAssay context
DCR: Quantifying Data Contamination in LLMs Evaluation
Universal pre-training by iterated random computation
본 논문에서는 모델의 사전 학습을 위해 무작위로 생성된 데이터를 활용하는 방법을 연구합니다. 알고리즘 복잡도 관점에서 이 접근법을 이론적으로 정당화하며, 이는 시퀀스 모델이 Solomonoff 귀납법(Induction)을 근사하도록 학습될 수 있음을 보인 최근 연구를 기반으로 합니다. 유사하지만 상호 보완적인 이론적 결과를 도출하였습니다. 합성 데이터가 실제 데이터가 주어지기 전에 모델의 사전 학습에 활용될 수 있음을 실험적으로 입증합니다. 이러한 방식으로 학습된 모델이 다양한 데이터셋에서 제로샷 인컨텍스트 학습(zero-shot in-context learning)을 수행하며, 규모가 커질수록 성능이 향상된다는 기존 결과를 재현하였습니다. 또한, 기존 연구를 실제 데이터에 확장하여, 사전 학습 후 미세 조정(finetuning)을 수행할 경우 수렴 속도가 빨라지고 일반화 성능이 향상됨을 보여줍니다.
Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective
Conquering the Retina: Bringing Visual in-Context Learning to OCT
토론
이 논문과 연결된 포럼 글이 아직 없습니다.