| Unicorn 11B (fine-tuned) |
- Accuracy
- 83.2
|
UNICORN on RAINBOW: A Universal Commonsense Reasoning Model on a New Multitask Benchmark
2021-03-24 |
코드 1 |
| LLaMA-2 13B + MixLoRA |
- Accuracy
- 82.5
|
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
2024-04-22 |
코드 1 · 코드 2 |
| CompassMTL 567M with Tailor |
- Accuracy
- 82.2
|
Task Compass: Scaling Multi-task Pre-training with Task Prefix
2022-10-12 |
코드 1 |
| CompassMTL 567M |
- Accuracy
- 81.7
|
Task Compass: Scaling Multi-task Pre-training with Task Prefix
2022-10-12 |
코드 1 |
| LLaMA-3 8B+MoSLoRA (fine-tuned) |
- Accuracy
- 81.0
|
Mixture-of-Subspaces in Low-Rank Adaptation
2024-06-16 |
코드 1 |
| DeBERTa-Large 304M |
- Accuracy
- 80.2
|
Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering
2022-10-29 |
코드 1 |
| DeBERTa-Large 304M (classification-based) |
- Accuracy
- 79.9
|
Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering
2022-10-29 |
코드 1 |
| UnifiedQA 3B |
- Accuracy
- 79.8
|
UnifiedQA: Crossing Format Boundaries With a Single QA System
2020-05-02 |
코드 1 · 코드 2 |
| ExDeBERTa 567M |
- Accuracy
- 79.6
|
Task Compass: Scaling Multi-task Pre-training with Task Prefix
2022-10-12 |
코드 1 |
| LLaMA-3 8B + MixLoRA |
- Accuracy
- 78.8
|
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
2024-04-22 |
코드 1 · 코드 2 |
| LLaMA-2 7B + MixLoRA |
- Accuracy
- 78
|
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
2024-04-22 |
코드 1 · 코드 2 |
| RoBERTa-Large 355M (fine-tuned) |
- Accuracy
- 76.7
|
RoBERTa: A Robustly Optimized BERT Pretraining Approach
2019-07-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 |
| BERT-large 340M (fine-tuned) |
- Accuracy
- 64.5
|
SocialIQA: Commonsense Reasoning about Social Interactions
2019-04-22 |
코드 1 |
| BERT-base 110M (fine-tuned) |
- Accuracy
- 63.1
|
SocialIQA: Commonsense Reasoning about Social Interactions
2019-04-22 |
코드 1 |
| GPT-1 117M (fine-tuned) |
- Accuracy
- 63
|
SocialIQA: Commonsense Reasoning about Social Interactions
2019-04-22 |
코드 1 |
| phi-1.5-web 1.3B (zero-shot) |
- Accuracy
- 53.0
|
Textbooks Are All You Need II: phi-1.5 technical report
2023-09-11 |
코드 1 |
| phi-1.5 1.3B (zero-shot) |
- Accuracy
- 52.6
|
Textbooks Are All You Need II: phi-1.5 technical report
2023-09-11 |
코드 1 |
| LLaMA 65B (zero-shot) |
- Accuracy
- 52.3
|
LLaMA: Open and Efficient Foundation Language Models
2023-02-27 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| Chinchilla (zero-shot) |
- Accuracy
- 51.3
|
Training Compute-Optimal Large Language Models
2022-03-29 |
코드 1 · 코드 2 |
| Gopher (zero-shot) |
- Accuracy
- 50.6
|
Scaling Language Models: Methods, Analysis & Insights from Training Gopher
2021-12-08 |
코드 1 · 코드 2 · 코드 3 |
| LLaMA 13B (zero-shot) |
- Accuracy
- 50.4
|
LLaMA: Open and Efficient Foundation Language Models
2023-02-27 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| LLaMA 33B (zero-shot) |
- Accuracy
- 50.4
|
LLaMA: Open and Efficient Foundation Language Models
2023-02-27 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| LLaMA 7B (zero-shot) |
- Accuracy
- 48.9
|
LLaMA: Open and Efficient Foundation Language Models
2023-02-27 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| Random chance baseline |
- Accuracy
- 33.3
|
SocialIQA: Commonsense Reasoning about Social Interactions
2019-04-22 |
코드 1 |