| BEiT-3 |
- overall
- 84.03
|
Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks 2022-08-22 |
코드 1 · 코드 2 |
| mPLUG-Huge |
- overall
- 83.62
- yes/no
- 94.83
- number
- 69.82
- other
- 77.02
|
mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections 2022-05-24 |
코드 1 · 코드 2 · 코드 3 |
| ONE-PEACE |
- overall
- 82.52
- yes/no
- 94.85
- number
- 72.24
- other
- 74.15
|
ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities 2023-05-18 |
코드 1 · 코드 2 |
| X2-VLM (large) |
- overall
- 81.8
|
X$^2$-VLM: All-In-One Pre-trained Model For Vision-Language Tasks 2022-11-22 |
코드 1 · 코드 2 |
| VLMo |
- overall
- 81.30
- yes/no
- 94.68
- number
- 67.26
- other
- 72.87
|
VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts 2021-11-03 |
코드 1 · 코드 2 |
| SimVLM |
- overall
- 80.34
|
SimVLM: Simple Visual Language Model Pretraining with Weak Supervision 2021-08-24 |
코드 1 · 코드 2 |
| X2-VLM (base) |
- overall
- 80.2
|
X$^2$-VLM: All-In-One Pre-trained Model For Vision-Language Tasks 2022-11-22 |
코드 1 · 코드 2 |
| VAST |
- overall
- 80.19
|
연결 없음 논문 날짜 미기재 |
연결 없음 |
| VALOR |
- overall
- 78.62
|
VALOR: Vision-Audio-Language Omni-Perception Pretraining Model and Dataset 2023-04-17 |
코드 1 |
| Prompt Tuning |
- overall
- 78.53
|
Prompt Tuning for Generative Multimodal Pretrained Models 2022-08-04 |
코드 1 |
| Prismer |
- overall
- 78.49
- yes/no
- 93.09
- number
- 61.39
- other
- 69.70
|
Prismer: A Vision-Language Model with Multi-Task Experts 2023-03-04 |
코드 1 · 코드 2 |
| MSR + MS Cog. Svcs., X10 models |
- overall
- 77.45
- yes/no
- 92.38
- number
- 62.55
- other
- 67.87
|
VinVL: Revisiting Visual Representations in Vision-Language Models 2021-01-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| MSR + MS Cog. Svcs. |
- overall
- 76.63
- yes/no
- 92.04
- number
- 61.5
- other
- 66.68
|
VinVL: Revisiting Visual Representations in Vision-Language Models 2021-01-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| ALBEF (14M) |
- overall
- 76.04
|
Align before Fuse: Vision and Language Representation Learning with Momentum Distillation 2021-07-16 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| BGN, ensemble |
- overall
- 75.92
- yes/no
- 90.89
- number
- 61.13
- other
- 66.28
|
Bilinear Graph Networks for Visual Question Answering 2019-07-23 |
연결 없음 |
| ERNIE-ViL-single model |
- overall
- 74.93
- yes/no
- 90.83
- number
- 56.79
- other
- 65.24
|
ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph 2020-06-30 |
연결 없음 |
| Single, w/o VLP |
- overall
- 74.16
- yes/no
- 89.18
- number
- 58.01
- other
- 64.77
|
In Defense of Grid Features for Visual Question Answering 2020-01-10 |
코드 1 · 코드 2 |
| Single, w/o VLP |
- overall
- 73.86
- yes/no
- 89.46
- number
- 58.62
- other
- 63.78
|
Deep Multimodal Neural Architecture Search 2020-04-25 |
코드 1 |
| UNITER (Large) |
- overall
- 73.4
|
UNITER: UNiversal Image-TExt Representation Learning 2019-09-25 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| X-101 grid features + MCAN |
- overall
- 72.71
|
In Defense of Grid Features for Visual Question Answering 2020-01-10 |
코드 1 · 코드 2 |
| LXMERT |
- overall
- 72.5
|
LXMERT: Learning Cross-Modality Encoder Representations from Transformers 2019-08-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| VL-BERTLARGE |
- overall
- 72.2
|
VL-BERT: Pre-training of Generic Visual-Linguistic Representations 2019-08-22 |
코드 1 · 코드 2 · 코드 3 |
| MCAN+VC |
- overall
- 71.49
|
Visual Commonsense R-CNN 2020-02-27 |
코드 1 |
| VisualBERT |
- overall
- 71
|
VisualBERT: A Simple and Performant Baseline for Vision and Language 2019-08-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| MCANed-6 |
- overall
- 70.9
|
Deep Modular Co-Attention Networks for Visual Question Answering 2019-06-25 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| Unified VLP |
- overall
- 70.7
|
Unified Vision-Language Pre-Training for Image Captioning and VQA 2019-09-24 |
코드 1 · 코드 2 · 코드 3 |
| BAN+Glove+Counter |
- overall
- 70.4
|
Bilinear Attention Networks 2018-05-21 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| Up-Down |
- overall
- 70.34
|
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering 2017-07-25 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 |
| Image features from bottom-up attention (adaptive K, ensemble) |
- overall
- 70.3
|
Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge 2017-08-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| Caption VQA |
- overall
- 69.7
|
Generating Question Relevant Captions to Aid Visual Question Answering 2019-06-03 |
연결 없음 |