| TinyBERT-6 67M |
- Matched
- 84.6
- Mismatched
- 83.2
|
TinyBERT: Distilling BERT for Natural Language Understanding 2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| ELC-BERT-base 98M (zero init) |
- Matched
- 84.4
- Mismatched
- 84.5
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| 24hBERT |
- Matched
- 84.4
- Mismatched
- 83.8
|
How to Train BERT with an Academic Budget 2021-04-15 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| ERNIE |
- Matched
- 84.0
- Mismatched
- 83.2
|
ERNIE: Enhanced Language Representation with Informative Entities 2019-05-17 |
코드 1 · 코드 2 |
| Charformer-Tall |
- Matched
- 83.7
- Mismatched
- 84.4
|
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization 2021-06-23 |
코드 1 · 코드 2 |
| LTG-BERT-base 98M |
- Matched
- 83
- Mismatched
- 83.4
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| TinyBERT-4 14.5M |
- Matched
- 82.5
- Mismatched
- 81.8
|
TinyBERT: Distilling BERT for Natural Language Understanding 2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| T5-Small |
- Matched
- 82.4
- Mismatched
- 82.3
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| MFAE |
- Matched
- 82.31
- Mismatched
- 81.43
|
What Do Questions Exactly Ask? MFAE: Duplicate Question Identification with Multi-Fusion Asking Emphasis 2020-05-07 |
코드 1 |
| Finetuned Transformer LM |
- Matched
- 82.1
- Mismatched
- 81.4
|
연결 없음 논문 날짜 미기재 |
연결 없음 |
| Finetuned Transformer LM |
- Matched
- 82.1
- Mismatched
- 81.4
|
Improving Language Understanding by Generative Pre-Training 2018-06-11 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 |
| SqueezeBERT |
- Matched
- 82.0
- Mismatched
- 81.1
|
SqueezeBERT: What can computer vision teach NLP about efficient neural networks? 2020-06-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| GPST(unsupervised generative syntactic LM) |
- Matched
- 81.8
- Mismatched
- 82.0
|
Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale 2024-03-13 |
코드 1 · 코드 2 |
| ELC-BERT-small 24M |
- Matched
- 79.2
- Mismatched
- 79.9
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| LTG-BERT-small 24M |
- Matched
- 78
- Mismatched
- 78.8
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| FNet-Large |
- Matched
- 78
- Mismatched
- 76
|
FNet: Mixing Tokens with Fourier Transforms 2021-05-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| aESIM |
- Matched
- 73.9
- Mismatched
- 73.9
|
Attention Boosted Sequential Inference Model 2018-12-05 |
연결 없음 |
| T5-Large 738M |
- Matched
- 72.4
- Mismatched
- 72
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| Multi-task BiLSTM + Attn |
- Matched
- 72.2
- Mismatched
- 72.1
|
GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding 2018-04-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 |
| Stacked Bi-LSTMs (shortcut connections, max-pooling) |
- Matched
- 71.4
- Mismatched
- 72.2
|
Combining Similarity Features and Deep Representation Learning for Stance Detection in the Context of Checking Fake News 2018-11-02 |
코드 1 · 코드 2 · 코드 3 |
| GenSen |
- Matched
- 71.4
- Mismatched
- 71.3
|
Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning 2018-03-30 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| Bi-LSTM sentence encoder (max-pooling) |
- Matched
- 70.7
- Mismatched
- 71.1
|
Combining Similarity Features and Deep Representation Learning for Stance Detection in the Context of Checking Fake News 2018-11-02 |
코드 1 · 코드 2 · 코드 3 |
| Stacked Bi-LSTMs (shortcut connections, max-pooling, attention) |
- Matched
- 70.7
- Mismatched
- 70.5
|
Combining Similarity Features and Deep Representation Learning for Stance Detection in the Context of Checking Fake News 2018-11-02 |
코드 1 · 코드 2 · 코드 3 |
| SWEM-max |
- Matched
- 68.2
- Mismatched
- 67.7
|
Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms 2018-05-24 |
코드 1 · 코드 2 |
| LaMini-GPT 1.5B |
- Matched
- 67.5
- Mismatched
- 69.3
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| LaMini-F-T5 783M |
- Matched
- 61.4
- Mismatched
- 61
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| LaMini-T5 738M |
- Matched
- 54.7
- Mismatched
- 55.8
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| GPT-2-XL 1.5B |
- Matched
- 36.5
- Mismatched
- 37
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| T5-11B |
- Mismatched
- 91.7
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| RoBERTa (ensemble) |
- Mismatched
- 90.2
|
RoBERTa: A Robustly Optimized BERT Pretraining Approach 2019-07-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 |