| PaLI-X-VPD |
- Accuracy
- 66.8
|
Visual Program Distillation: Distilling Tools and Programmatic Reasoning into Vision-Language Models 2023-12-05 |
연결 없음 |
| PaLM-E-562B |
- Accuracy
- 66.1
|
PaLM-E: An Embodied Multimodal Language Model 2023-03-06 |
코드 1 · 코드 2 |
| PaLI-X (Single-task FT) |
- Accuracy
- 66.1
|
PaLI-X: On Scaling up a Multilingual Vision and Language Model 2023-05-29 |
코드 1 · 코드 2 |
| PaLI 17B |
- Accuracy
- 64.5
|
PaLI: A Jointly-Scaled Multilingual Language-Image Model 2022-09-14 |
코드 1 |
| Prophet |
- Accuracy
- 62.5
|
Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering 2023-03-03 |
코드 1 |
| RA-VQA-v2 (BLIP 2) |
- Accuracy
- 62.08
- Exact Match (EM)
- 62.01
- Recall@5
- 89.32
|
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering 2023-09-29 |
코드 1 |
| A Simple Baseline for KB-VQA |
- Accuracy
- 61.2
|
A Simple Baseline for Knowledge-Based Visual Question Answering 2023-10-20 |
연결 없음 |
| PromptCap |
- Accuracy
- 60.4
|
PromptCap: Prompt-Guided Task-Aware Image Captioning 2022-11-15 |
코드 1 |
| ReVeaL WIT + CC12M + Wikidata + VQA-2 |
- Accuracy
- 59.1
|
REVEAL: Retrieval-Augmented Visual-Language Pre-Training with Multi-Source Multimodal Knowledge Memory 2022-12-10 |
코드 1 |
| Lyrics |
- Accuracy
- 58.2
|
Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects 2023-12-08 |
연결 없음 |
| REVIVE (Ensemble) |
- Accuracy
- 58.0
|
REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering 2022-06-02 |
코드 1 |
| REVIVE (Single) |
- Accuracy
- 56.6
|
REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering 2022-06-02 |
코드 1 |
| RA-VQA-v2 (T5-large) |
- Accuracy
- 54.85
|
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering 2023-09-29 |
코드 1 |
| RA-VQA (T5-large) |
- Accuracy
- 54.48
- Exact Match (EM)
- 59.41
- Recall@5
- 82.84
|
Retrieval Augmented Visual Question Answering with Outside Knowledge 2022-10-07 |
코드 1 |
| VK-OOD |
- Accuracy
- 52.4
|
Differentiable Outlier Detection Enable Robust Deep Multimodal Analysis 2023-02-11 |
코드 1 |
| VK-OOD |
- Accuracy
- 52.4
|
Implicit Differentiable Outlier Detection Enable Robust Deep Multimodal Analysis 2023-09-21 |
코드 1 |
| RA-VQA-FrDPR (T5-large) |
- Accuracy
- 51.22
- Exact Match (EM)
- 55.77
- Recall@5
- 81.25
|
Retrieval Augmented Visual Question Answering with Outside Knowledge 2022-10-07 |
코드 1 |
| Flamingo80B |
- Accuracy
- 50.6
|
Flamingo: a Visual Language Model for Few-Shot Learning 2022-04-29 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| TRiG (T5-Large) |
- Accuracy
- 50.50
|
Transform-Retrieve-Generate: Natural Language-Centric Outside-Knowledge Visual Question Answering 2022-01-01 |
연결 없음 |
| HYDRA |
- Accuracy
- 48.6
|
HYDRA: A Hyper Agent for Dynamic Compositional Visual Reasoning 2024-03-19 |
코드 1 |
| PICa |
- Accuracy
- 48.0
|
An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA 2021-09-10 |
코드 1 |
| LaKo |
- Accuracy
- 47.01
|
LaKo: Knowledge-driven Visual Question Answering via Late Knowledge-to-Text Injection 2022-07-26 |
코드 1 |
| BLIP-2 ViT-G FlanT5 XXL (zero-shot) |
- Accuracy
- 45.9
|
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023-01-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 |
| Flamingo9B |
- Accuracy
- 44.7
|
Flamingo: a Visual Language Model for Few-Shot Learning 2022-04-29 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| VLC-BERT |
- Accuracy
- 43.1
|
VLC-BERT: Visual Question Answering with Contextualized Commonsense Knowledge 2022-10-24 |
코드 1 |
| T5(Tan and Bansal, 2019) + Prefixes |
- Accuracy
- 42.03
|
LaKo: Knowledge-driven Visual Question Answering via Late Knowledge-to-Text Injection 2022-07-26 |
코드 1 |
| Flamingo3B |
- Accuracy
- 41.2
|
Flamingo: a Visual Language Model for Few-Shot Learning 2022-04-29 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| BLIP-2 ViT-G FlanT5 XL (zero-shot) |
- Accuracy
- 40.7
|
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023-01-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 |
| BLIP-2 ViT-L FlanT5 XL (zero-shot) |
- Accuracy
- 39.4
|
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023-01-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 |
| BLIP-2 ViT-G OPT 6.7B (zero-shot) |
- Accuracy
- 36.4
|
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023-01-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 |