MIBench: Evaluating Multimodal Large Language Models over Multiple Images
원문 초록
Built on the power of LLMs, numerous multimodal large language models (MLLMs) have recently achieved remarkable performance on various vision-language tasks. However, most existing MLLMs and benchmarks primarily focus on single-image input scenarios, leaving the performance of MLLMs when handling realistic multiple images underexplored. Although a few benchmarks consider multiple images, their evaluation dimensions and samples are very limited. In this paper, we propose a new benchmark MIBench, to comprehensively evaluate fine-grained abilities of MLLMs in multi-image scenarios. Specifically, MIBench categorizes the multi-image abilities into three scenarios: multi-image instruction (MII), multimodal knowledge-seeking (MKS) and multimodal in-context learning (MIC), and constructs 13 tasks with a total of 13K annotated samples. During data construction, for MII and MKS, we extract correct options from manual annotations and create challenging distractors to obtain multiple-choice questions. For MIC, to enable an in-depth evaluation, we set four sub-tasks and transform the original datasets into in-context learning formats. We evaluate several open-source and closed-source MLLMs on the proposed MIBench. The results reveal that although current models excel in single-image tasks, they exhibit significant shortcomings when faced with multi-image inputs, such as limited fine-grained perception, multi-image reasoning and in-context learning abilities. The annotated data of MIBench is available at https://huggingface.co/datasets/StarBottle/MIBench.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Assay2Mol: large language model-based drug design using BioAssay context
Universal pre-training by iterated random computation
본 논문에서는 모델의 사전 학습을 위해 무작위로 생성된 데이터를 활용하는 방법을 연구합니다. 알고리즘 복잡도 관점에서 이 접근법을 이론적으로 정당화하며, 이는 시퀀스 모델이 Solomonoff 귀납법(Induction)을 근사하도록 학습될 수 있음을 보인 최근 연구를 기반으로 합니다. 유사하지만 상호 보완적인 이론적 결과를 도출하였습니다. 합성 데이터가 실제 데이터가 주어지기 전에 모델의 사전 학습에 활용될 수 있음을 실험적으로 입증합니다. 이러한 방식으로 학습된 모델이 다양한 데이터셋에서 제로샷 인컨텍스트 학습(zero-shot in-context learning)을 수행하며, 규모가 커질수록 성능이 향상된다는 기존 결과를 재현하였습니다. 또한, 기존 연구를 실제 데이터에 확장하여, 사전 학습 후 미세 조정(finetuning)을 수행할 경우 수렴 속도가 빨라지고 일반화 성능이 향상됨을 보여줍니다.
Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective
Conquering the Retina: Bringing Visual in-Context Learning to OCT
Evaluating Cell Type Inference in Vision Language Models Under Varying Visual Context
Training-free LLM Merging for Multi-task Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.