Papers with Code · CC BY-SA 4.0

ARC (Challenge)

아카이브 평가 54건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
GPT-3 175B (1 shot)	Accuracy 53.2	Language Models are Few-Shot Learners 2020-05-28	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
LLaMA 13B (zero-shot)	Accuracy 52.7	LLaMA: Open and Efficient Foundation Language Models 2023-02-27	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
GPT-3 (zero-shot)	Accuracy 51.4	Galactica: A Large Language Model for Science 2022-11-16	코드 1
GPT-3 175B (0-shot)	Accuracy 51.4	Language Models are Few-Shot Learners 2020-05-28	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
BLOOM 176B (1-shot)	Accuracy 50.85	BloombergGPT: A Large Language Model for Finance 2023-03-30	코드 1 · 코드 2
GLaM 64B/64E (0 shot)	Accuracy 50.3	GLaM: Efficient Scaling of Language Models with Mixture-of-Experts 2021-12-13	연결 없음
UL2 20B (chain-of-thought + self-consistency)	Accuracy 49.5	UL2: Unifying Language Learning Paradigms 2022-05-10	코드 1 · 코드 2
Bloomberg GPT 50B (1-shot)	Accuracy 48.63	BloombergGPT: A Large Language Model for Finance 2023-03-30	코드 1 · 코드 2
GLaM 64B/64E (1 shot)	Accuracy 48.2	GLaM: Efficient Scaling of Language Models with Mixture-of-Experts 2021-12-13	연결 없음
LLaMA 7B (zero-shot)	Accuracy 47.6	LLaMA: Open and Efficient Foundation Language Models 2023-02-27	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
GPT-NeoX 20B (1-shot)	Accuracy 45.39	BloombergGPT: A Large Language Model for Finance 2023-03-30	코드 1 · 코드 2
phi-1.5-web 1.3B (zero-shot)	Accuracy 44.9	Textbooks Are All You Need II: phi-1.5 technical report 2023-09-11	코드 1
OPT 66B (one-shot)	Accuracy 44.54	BloombergGPT: A Large Language Model for Finance 2023-03-30	코드 1 · 코드 2
OPT-175B	Accuracy 43.94	SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6
UL2 20B (chain-of-thought)	Accuracy 42.9	UL2: Unifying Language Learning Paradigms 2022-05-10	코드 1 · 코드 2
SparseGPT (175B, 50% Sparsity)	Accuracy 41.3	SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6
SparseGPT (175B, 4:8 Sparsity)	Accuracy 39.85	SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6
SparseGPT (175B, 2:4 Sparsity)	Accuracy 38.99	SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6
Pythia 12B (5-shot)	Accuracy 36.8	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling 2023-04-03	코드 1 · 코드 2 · 코드 3 · 코드 4
BLOOM (few-shot, k=5)	Accuracy 32.9	Galactica: A Large Language Model for Science 2022-11-16	코드 1
Pythia 12B (0-shot)	Accuracy 31.8	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling 2023-04-03	코드 1 · 코드 2 · 코드 3 · 코드 4
OPT (few-shot, k=5)	Accuracy 31.1	Galactica: A Large Language Model for Science 2022-11-16	코드 1
UL2 20B (zero-shot)	Accuracy 29.8	UL2: Unifying Language Learning Paradigms 2022-05-10	코드 1 · 코드 2
OPT-175B (50% Sparsity)	Accuracy 25.6	SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6