| GPT-4 o1(300b) |
- Average (%)
- 87
|
GPT-4o as the Gold Standard: A Scalable and General Purpose Approach to Filter Language Model Pretraining Data 2024-10-03 |
연결 없음 |
| Llama 3.1 (405B) |
- Average (%)
- 86.6
|
Llama 3 Meets MoE: Efficient Upcycling 2024-12-13 |
코드 1 |
| Llama 3.1 (70B) |
- Average (%)
- 86.0
|
Llama 3 Meets MoE: Efficient Upcycling 2024-12-13 |
코드 1 |
| Gemini Ultra (5-shot) |
- Average (%)
- 83.7
|
연결 없음 논문 날짜 미기재 |
연결 없음 |
| Claude 3 Sonnet (5-shot) |
- Average (%)
- 79
|
The Claude 3 Model Family: Opus, Sonnet, Haiku 2024-03-04 |
연결 없음 |
| Qwen1.5 72B (5-shot) |
- Average (%)
- 77.5
|
연결 없음 논문 날짜 미기재 |
연결 없음 |
| Claude 3 Haiku (5-shot) |
- Average (%)
- 75.2
|
The Claude 3 Model Family: Opus, Sonnet, Haiku 2024-03-04 |
연결 없음 |
| DBRX Instruct 132B (5-shot) |
- Average (%)
- 73.7
|
The Llama 3 Herd of Models 2024-07-31 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| llama 2(65b) |
- Average (%)
- 73.5
|
Scaling Instruction-Finetuned Language Models 2022-10-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| Llama 3.1 8B (CoT) |
- Average (%)
- 73.0
|
The Llama 3 Herd of Models 2024-07-31 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| Mixtral 8x7B (5-shot) |
- Average (%)
- 70.6
|
Mixtral of Experts 2024-01-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| GPT-3.5 Turbo |
- Average (%)
- 70.0
|
GPT-4 Technical Report 2023-03-15 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 |
| LLaMA 65B (fine-tuned) |
- Average (%)
- 68.9
|
LLaMA: Open and Efficient Foundation Language Models 2023-02-27 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| chatgpt/gpt3.5(20B) |
- Average (%)
- 67.5
|
Training Compute-Optimal Large Language Models 2022-03-29 |
코드 1 · 코드 2 |
| LLaMA 65B (5-shot) |
- Average (%)
- 63.4
|
LLaMA: Open and Efficient Foundation Language Models 2023-02-27 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| LLaMA 2 34B (5-shot) |
- Average (%)
- 62.6
|
Llama 2: Open Foundation and Fine-Tuned Chat Models 2023-07-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 |
| Mistral 7B (5-shot) |
- Average (%)
- 62.5
|
Mixtral of Experts 2024-01-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| Mistral 7B (5-shot) |
- Average (%)
- 60.1
|
Mistral 7B 2023-10-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| GPT-3 Davinci 175B (CoT) |
- Average (%)
- 59.5
|
Scaling Instruction-Finetuned Language Models 2022-10-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| LLaMA 33B (5-shot) |
- Average (%)
- 57.8
|
LLaMA: Open and Efficient Foundation Language Models 2023-02-27 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| Falcon 40B |
- Average (%)
- 57.0
|
The Falcon Series of Open Language Models 2023-11-28 |
연결 없음 |
| Qwen 7B (5-shot) |
- Average (%)
- 56.7
|
연결 없음 논문 날짜 미기재 |
연결 없음 |
| LLaMA 2 13B (5-shot) |
- Average (%)
- 54.8
|
Llama 2: Open Foundation and Fine-Tuned Chat Models 2023-07-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 |
| Branch-Train-MiX 4x7B (sampling top-1 experts) |
- Average (%)
- 53.2
|
Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM 2024-03-12 |
코드 1 |
| GAL 120B (zero-shot) |
- Average (%)
- 52.6
|
Galactica: A Large Language Model for Science 2022-11-16 |
코드 1 |
| Atlas (5-shot) |
- Average (%)
- 47.9
|
Atlas: Few-shot Learning with Retrieval Augmented Language Models 2022-08-05 |
코드 1 · 코드 2 |
| Flan-T5-XL 3B (CoT) |
- Average (%)
- 45.5
|
Scaling Instruction-Finetuned Language Models 2022-10-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| LLaMA 2 7B (5-shot) |
- Average (%)
- 45.3
|
Llama 2: Open Foundation and Fine-Tuned Chat Models 2023-07-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 |
| Flan-T5-Large 780M |
- Average (%)
- 45.1
|
Scaling Instruction-Finetuned Language Models 2022-10-20 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| GLM-130B |
- Average (%)
- 44.8
|
GLM-130B: An Open Bilingual Pre-trained Model 2022-10-05 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |