| LaMini-GPT 1.5B |
- Accuracy
- 67.9%
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| SenseBERT-base 110M |
- Accuracy
- 67.5%
|
SenseBERT: Driving Some Sense into BERT 2019-08-15 |
연결 없음 |
| OPT-IML 1.3B |
- Accuracy
- 66.8%
|
OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization 2022-12-22 |
코드 1 |
| TinyBERT-6 67M |
- Accuracy
- 66%
|
TinyBERT: Distilling BERT for Natural Language Understanding 2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| LaMini-F-T5 783M |
- Accuracy
- 65%
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| RoE-3B |
- Accuracy
- 64.01
|
Exploring the Benefits of Training Expert Language Models over Instruction Tuning 2023-02-07 |
코드 1 · 코드 2 |
| ELC-BERT-base 98M (zero init) |
- Accuracy
- 63
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| DistilBERT 66M |
- Accuracy
- 62.9%
|
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 2019-10-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| TinyBERT-4 14.5M |
- Accuracy
- 62.9%
|
TinyBERT: Distilling BERT for Natural Language Understanding 2019-09-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| Neo-6B (QA) |
- Accuracy
- 61.7%
|
Ask Me Anything: A simple strategy for prompting language models 2022-10-05 |
코드 1 · 코드 2 · 코드 3 |
| UL2 20B (0-shot) |
- Accuracy
- 60.7%
|
UL2: Unifying Language Learning Paradigms 2022-05-10 |
코드 1 · 코드 2 |
| OPT 175B |
- Accuracy
- 60.3%
|
OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization 2022-12-22 |
코드 1 |
| N-Grammer 343M |
- Accuracy
- 59.2%
|
N-Grammer: Augmenting Transformers with latent n-grams 2022-07-13 |
코드 1 · 코드 2 |
| Hybrid H3 125M (0-shot, logit scoring) |
- Accuracy
- 59.2%
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |
| Neo-6B (few-shot) |
- Accuracy
- 58.8%
|
Ask Me Anything: A simple strategy for prompting language models 2022-10-05 |
코드 1 · 코드 2 · 코드 3 |
| OPT 30B |
- Accuracy
- 58.1%
|
OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization 2022-12-22 |
코드 1 |
| Hybrid H3 125M (3-shot, logit scoring) |
- Accuracy
- 58.1%
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |
| Hybrid H3 125M (3-shot, rank classification) |
- Accuracy
- 58.1%
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |
| 24hBERT |
- Accuracy
- 57.7%
|
How to Train BERT with an Academic Budget 2021-04-15 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| BLOOM 176B (1-shot) |
- Accuracy
- 57.4%
|
BloombergGPT: A Large Language Model for Finance 2023-03-30 |
코드 1 · 코드 2 |
| LaMini-T5 738M |
- Accuracy
- 57%
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| ELC-BERT-small 24M |
- Accuracy
- 55.4
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| OPT 66B (1-shot) |
- Accuracy
- 54.9%
|
BloombergGPT: A Large Language Model for Finance 2023-03-30 |
코드 1 · 코드 2 |
| LTG-BERT-base 98M |
- Accuracy
- 54.7
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| OPT 1.3B |
- Accuracy
- 54.2%
|
OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization 2022-12-22 |
코드 1 |
| GPT-NeoX 20B (1-shot) |
- Accuracy
- 53.8%
|
BloombergGPT: A Large Language Model for Finance 2023-03-30 |
코드 1 · 코드 2 |
| LTG-BERT-small 24M |
- Accuracy
- 53.7
|
Not all layers are equally as important: Every Layer Counts BERT 2023-11-03 |
연결 없음 |
| H3 125M (0-shot, rank classification) |
- Accuracy
- 53.1%
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |
| GPT-2-XL 1.5B |
- Accuracy
- 52.3%
|
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions 2023-04-27 |
코드 1 |
| H3 125M (3-shot, rank classification) |
- Accuracy
- 52.3%
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |