| Q-BERT (Shen et al., 2020) |
- Accuracy
- 94.8
|
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT 2019-09-12 |
연결 없음 |
| Q8BERT (Zafrir et al., 2019) |
- Accuracy
- 94.7
|
Q8BERT: Quantized 8Bit BERT 2019-10-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| CNN Large |
- Accuracy
- 94.6
|
Cloze-driven Pretraining of Self-attention Networks 2019-03-19 |
연결 없음 |
| BigBird |
- Accuracy
- 94.6
|
Big Bird: Transformers for Longer Sequences 2020-07-28 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 |
| MLM+ del-word+ reorder |
- Accuracy
- 94.5
|
CLEAR: Contrastive Learning for Sentence Representation 2020-12-31 |
연결 없음 |
| ASA + BERT-base |
- Accuracy
- 94.1
|
Adversarial Self-Attention for Language Understanding 2022-06-25 |
코드 1 |
| RealFormer |
- Accuracy
- 94.04
|
RealFormer: Transformer Likes Residual Attention 2020-12-21 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| FNet-Large |
- Accuracy
- 94
|
FNet: Mixing Tokens with Fourier Transforms 2021-05-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| MT-DNN |
- Accuracy
- 93.6
|
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization 2019-11-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| ERNIE |
- Accuracy
- 93.5
|
ERNIE: Enhanced Language Representation with Informative Entities 2019-05-17 |
코드 1 · 코드 2 |
| Block-sparse LSTM |
- Accuracy
- 93.2
|
GPU Kernels for Block-Sparse Weights 2017-12-01 |
코드 1 |
| LM-CPPF RoBERTa-base |
- Accuracy
- 93.2
|
LM-CPPF: Paraphrasing-Guided Data Augmentation for Contrastive Prompt-Based Few-Shot Fine-Tuning 2023-05-29 |
코드 1 |
| TinyBERT-6 67M |
- Accuracy
- 93.1
|
TinyBERT: Distilling BERT for Natural Language Understanding 2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| 24hBERT |
- Accuracy
- 93.0
|
How to Train BERT with an Academic Budget 2021-04-15 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| SMART+BERT-BASE |
- Accuracy
- 93
|
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization 2019-11-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| TinyBERT-4 14.5M |
- Accuracy
- 92.6
|
TinyBERT: Distilling BERT for Natural Language Understanding 2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| bmLSTM |
- Accuracy
- 91.8
|
Learning to Generate Reviews and Discovering Sentiment 2017-04-05 |
코드 1 · 코드 2 |
| T5-Small |
- Accuracy
- 91.8
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| byte mLSTM7 |
- Accuracy
- 91.7
|
A La Carte Embedding: Cheap but Effective Induction of Semantic Feature Vectors 2018-05-14 |
코드 1 |
| PAR BERT Base |
- Accuracy
- 91.6
|
Pay Attention when Required 2020-09-09 |
코드 1 · 코드 2 |
| Charformer-Base |
- Accuracy
- 91.6
|
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization 2021-06-23 |
코드 1 · 코드 2 |
| SqueezeBERT |
- Accuracy
- 91.4
|
SqueezeBERT: What can computer vision teach NLP about efficient neural networks? 2020-06-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| Nyströmformer |
- Accuracy
- 91.4
|
Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention 2021-02-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| Bi-CAS-LSTM |
- Accuracy
- 91.3
|
Cell-aware Stacked LSTMs for Modeling Sentences 2018-09-07 |
연결 없음 |
| DistilBERT 66M |
- Accuracy
- 91.3
|
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 2019-10-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| CNN |
- Accuracy
- 91.2
|
On the Role of Text Preprocessing in Neural Network Architectures: An Evaluation Study on Text Categorization and Sentiment Analysis 2017-07-06 |
코드 1 · 코드 2 · 코드 3 |
| Suffix BiLSTM |
- Accuracy
- 91.2
|
Improved Sentence Modeling using Suffix Bidirectional LSTM 2018-05-18 |
연결 없음 |
| BERT Base |
- Accuracy
- 91.2
|
Fine-grained Sentiment Classification using BERT 2019-10-04 |
코드 1 |
| Transformer (finetune) |
- Accuracy
- 90.9
|
Practical Text Classification With Large Pre-Trained Language Models 2018-12-04 |
코드 1 |
| Single layer bilstm distilled from BERT |
- Accuracy
- 90.7
|
Distilling Task-Specific Knowledge from BERT into Simple Neural Networks 2019-03-28 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |