← Common Sense Reasoning
Papers with Code · CC BY-SA 4.0

ARC (Challenge)

아카이브 평가 54건 · 마지막 적재/변경

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델원본 지표·값논문구현
GPT-4 (few-shot, k=25)
Accuracy
96.4
GPT-4 Technical Report
2023-03-15
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
PaLM 2 (few-shot, CoT, SC)
Accuracy
95.1
PaLM 2 Technical Report
2023-05-17
코드 1
Shivaay (4B, few-shot, k=8)
Accuracy
91.04
연결 없음
논문 날짜 미기재
연결 없음
StupidLLM
Accuracy
91.03
연결 없음
논문 날짜 미기재
연결 없음
Claude 2 (few-shot, k=5)
Accuracy
91
Model Card and Evaluations for Claude Models
2023-07-11
연결 없음
Claude 1.3 (few-shot, k=5)
Accuracy
90
Model Card and Evaluations for Claude Models
2023-07-11
연결 없음
PaLM 540B (Self Improvement, Self Consistency)
Accuracy
89.8
Large Language Models Can Self-Improve
2022-10-20
연결 없음
PaLM 540B (Self Consistency)
Accuracy
88.7
Large Language Models Can Self-Improve
2022-10-20
연결 없음
PaLM 540B (Self Improvement, CoT Prompting)
Accuracy
88.3
Large Language Models Can Self-Improve
2022-10-20
연결 없음
PaLM 540B (Self Improvement, Standard-Prompting)
Accuracy
87.2
Large Language Models Can Self-Improve
2022-10-20
연결 없음
PaLM 540B (Standard-Prompting)
Accuracy
87.1
Large Language Models Can Self-Improve
2022-10-20
연결 없음
ST-MoE-32B 269B (fine-tuned)
Accuracy
86.5
ST-MoE: Designing Stable and Transferable Sparse Expert Models
2022-02-17
코드 1 · 코드 2 · 코드 3
Claude Instant 1.1 (few-shot, k=5)
Accuracy
85.7
Model Card and Evaluations for Claude Models
2023-07-11
연결 없음
GPT-3.5 (few-shot, k=25)
Accuracy
85.2
GPT-4 Technical Report
2023-03-15
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
PaLM 540B (CoT Prompting)
Accuracy
85.2
Large Language Models Can Self-Improve
2022-10-20
연결 없음
LLaMA 3 8B + MoSLoRA (fine-tuned)
Accuracy
81.5
Mixture-of-Subspaces in Low-Rank Adaptation
2024-06-16
코드 1
LLaMA-3 8B + MixLoRA
Accuracy
79.9
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
2024-04-22
코드 1 · 코드 2
LLaMA-2 13B + MixLoRA
Accuracy
69.9
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
2024-04-22
코드 1 · 코드 2
PaLM 2-L (1-shot)
Accuracy
69.2
PaLM 2 Technical Report
2023-05-17
코드 1
GAL 120B (zero-shot)
Accuracy
67.9
Galactica: A Large Language Model for Science
2022-11-16
코드 1
Camelidae-8×34B
Accuracy
65.2
Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks
2024-01-05
코드 1 · 코드 2
PaLM 2-M (1-shot)
Accuracy
64.9
PaLM 2 Technical Report
2023-05-17
코드 1
FLAN 137B (few-shot, k=13)
Accuracy
63.8
Finetuned Language Models Are Zero-Shot Learners
2021-09-03
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
FLAN 137B (zero-shot)
Accuracy
63.1
Finetuned Language Models Are Zero-Shot Learners
2021-09-03
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
PaLM 2-S (1-shot)
Accuracy
59.6
PaLM 2 Technical Report
2023-05-17
코드 1
LLaMA-2 7B + MixLoRA
Accuracy
58.1
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
2024-04-22
코드 1 · 코드 2
LLaMA 33B (zero-shot)
Accuracy
57.8
LLaMA: Open and Efficient Foundation Language Models
2023-02-27
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
ST-MoE-L 4.1B (fine-tuned)
Accuracy
56.9
ST-MoE: Designing Stable and Transferable Sparse Expert Models
2022-02-17
코드 1 · 코드 2 · 코드 3
LLaMA 65B (zero-shot)
Accuracy
56.0
LLaMA: Open and Efficient Foundation Language Models
2023-02-27
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
Mistral 7B (0-shot)
Accuracy
55.5
Mistral 7B
2023-10-10
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6