| MT-DNN-SMART |
- Accuracy
- 93.7%
- F1
- 91.7
|
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization 2019-11-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| ALBERT |
- Accuracy
- 93.4%
|
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations 2019-09-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 |
| RoBERTa (ensemble) |
- Accuracy
- 92.3%
|
RoBERTa: A Robustly Optimized BERT Pretraining Approach 2019-07-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 |
| StructBERTRoBERTa ensemble |
- Accuracy
- 91.5%
- F1
- 93.6%
|
StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding 2019-08-13 |
연결 없음 |
| FLOATER-large |
- Accuracy
- 91.4%
|
Learning to Encode Position for Transformer with Continuous Dynamical Model 2020-03-13 |
코드 1 |
| SMART |
- Accuracy
- 91.3%
|
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization 2019-11-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| RoBERTa-large 355M (MLP quantized vector-wise, fine-tuned) |
- Accuracy
- 91.0%
|
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale 2022-08-15 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| SpanBERT |
- Accuracy
- 90.9%
|
SpanBERT: Improving Pre-training by Representing and Predicting Spans 2019-07-24 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| XLNet (single model) |
- Accuracy
- 90.8%
|
XLNet: Generalized Autoregressive Pretraining for Language Understanding 2019-06-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 |
| AutoBERT-Zero (Large) |
- Accuracy
- 90.7%
|
AutoBERT-Zero: Evolving BERT Backbone from Scratch 2021-07-15 |
연결 없음 |
| MLM+ del-word+ reorder |
- Accuracy
- 90.6%
|
CLEAR: Contrastive Learning for Sentence Representation 2020-12-31 |
연결 없음 |
| AutoBERT-Zero (Base) |
- Accuracy
- 90.5%
|
AutoBERT-Zero: Evolving BERT Backbone from Scratch 2021-07-15 |
연결 없음 |
| PSQ (Chen et al., 2020) |
- Accuracy
- 90.4
|
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks 2020-10-27 |
코드 1 · 코드 2 |
| DistilBERT 66M |
- Accuracy
- 90.2%
|
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 2019-10-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| T5-11B |
- Accuracy
- 90.0%
- F1
- 91.9
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| T5-Large |
- Accuracy
- 89.9%
- F1
- 92.4
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| Q8BERT (Zafrir et al., 2019) |
- Accuracy
- 89.7
|
Q8BERT: Quantized 8Bit BERT 2019-10-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| ELECTRA |
- Accuracy
- 89.6%
|
연결 없음 논문 날짜 미기재 |
연결 없음 |
| T5-3B |
- Accuracy
- 89.2%
- F1
- 92.5
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| MobileBERT |
- Accuracy
- 88.8%
|
MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices 2020-04-06 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| ERNIE |
- Accuracy
- 88.2%
|
ERNIE: Enhanced Language Representation with Informative Entities 2019-05-17 |
코드 1 · 코드 2 |
| Q-BERT (Shen et al., 2020) |
- Accuracy
- 88.2
|
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT 2019-09-12 |
연결 없음 |
| FNet-Large |
- Accuracy
- 88%
|
FNet: Mixing Tokens with Fourier Transforms 2021-05-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| SqueezeBERT |
- Accuracy
- 87.8%
|
SqueezeBERT: What can computer vision teach NLP about efficient neural networks? 2020-06-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| Charformer-Tall |
- Accuracy
- 87.5%
- F1
- 91.4
|
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization 2021-06-23 |
코드 1 · 코드 2 |
| T5-Base |
- Accuracy
- 87.5%
- F1
- 90.7
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| 24hBERT |
- Accuracy
- 87.5%
|
How to Train BERT with an Academic Budget 2021-04-15 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| ERNIE 2.0 Large |
- Accuracy
- 87.4%
|
ERNIE 2.0: A Continual Pre-training Framework for Language Understanding 2019-07-29 |
코드 1 · 코드 2 · 코드 3 |
| TinyBERT-6 67M |
- Accuracy
- 87.3%
|
TinyBERT: Distilling BERT for Natural Language Understanding 2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| RealFormer |
- Accuracy
- 87.01%
- F1
- 90.91%
|
RealFormer: Transformer Likes Residual Attention 2020-12-21 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |