← Image Captioning
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| mPLUG |
|
mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections 2022-05-24 |
코드 1 · 코드 2 · 코드 3 |
| OFA |
|
OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework 2022-02-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| GIT |
|
GIT: A Generative Image-to-text Transformer for Vision and Language 2022-05-27 |
코드 1 |
| BLIP-2 ViT-G OPT 2.7B (zero-shot) |
|
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023-01-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 |
| BLIP-2 ViT-G OPT 6.7B (zero-shot) |
|
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023-01-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 |
| ExpansionNet v2 (No VL pretraining) |
|
Exploiting Multiple Sequence Lengths in Fast End to End Training for Image Captioning 2022-08-13 |
코드 1 |
| LEMON |
|
Scaling Up Vision-Language Pre-training for Image Captioning 2021-11-24 |
연결 없음 |
| BLIP-2 ViT-G FlanT5 XL (zero-shot) |
|
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023-01-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 |
| GRIT (No VL pretraining - base) |
|
GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features 2022-07-20 |
코드 1 · 코드 2 |
| Prompt Tuning |
|
Prompt Tuning for Generative Multimodal Pretrained Models 2022-08-04 |
코드 1 |
| Oscar |
|
Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks 2020-04-13 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| Xmodal-Ctx |
|
Beyond a Pre-Trained Object Detector: Cross-Modal Textual and Visual Context for Image Captioning 2022-05-09 |
코드 1 |
| Xmodal-Ctx + OSCAR |
|
Beyond a Pre-Trained Object Detector: Cross-Modal Textual and Visual Context for Image Captioning 2022-05-09 |
코드 1 |
| X-VLM (base) |
|
Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts 2021-11-16 |
코드 1 |
| VinVL |
|
VinVL: Revisiting Visual Representations in Vision-Language Models 2021-01-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| CoCa |
|
CoCa: Contrastive Captioners are Image-Text Foundation Models 2022-05-04 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| SimVLM |
|
SimVLM: Simple Visual Language Model Pretraining with Weak Supervision 2021-08-24 |
코드 1 · 코드 2 |
| Prismer |
|
Prismer: A Vision-Language Model with Multi-Task Experts 2023-03-04 |
코드 1 · 코드 2 |
| PTP-BLIP (14M) |
|
Position-guided Text Prompt for Vision-Language Pre-training 2022-12-19 |
코드 1 |
| L-Verse |
|
L-Verse: Bidirectional Generation Between Image and Text 2021-11-22 |
코드 1 |
| X-Transformer |
|
X-Linear Attention Networks for Image Captioning 2020-03-31 |
코드 1 · 코드 2 |
| AoANet + VC |
|
Visual Commonsense R-CNN 2020-02-27 |
코드 1 |
| Transformer_NSC |
|
A Better Variant of Self-Critical Sequence Training 2020-03-22 |
코드 1 |
| Meshed-Memory Transformer |
|
Meshed-Memory Transformer for Image Captioning 2019-12-17 |
코드 1 · 코드 2 |
| CLIP Text Encoder (RL w/ CIDEr-reward) |
|
Fine-grained Image Captioning with CLIP Reward 2022-05-26 |
코드 1 |
| RefineCap (w/ REINFORCE) |
|
RefineCap: Concept-Aware Refinement for Image Captioning 2021-09-08 |
연결 없음 |
| RDN |
|
Reflective Decoding Network for Image Captioning 2019-08-30 |
연결 없음 |
| SmallCapd=16, Large |
|
SmallCap: Lightweight Image Captioning Prompted with Retrieval Augmentation 2022-09-30 |
코드 1 |
| ClipCap (Transformer) |
|
ClipCap: CLIP Prefix for Image Captioning 2021-11-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| ClipCap (MLP + GPT2 tuning) |
|
ClipCap: CLIP Prefix for Image Captioning 2021-11-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |