Papers with Code · CC BY-SA 4.0

COPA

아카이브 평가 60건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
Neo-6B (QA + WS)	Accuracy 84.0	Ask Me Anything: A simple strategy for prompting language models 2022-10-05	코드 1 · 코드 2 · 코드 3
BLOOM 176B (one-shot)	Accuracy 84	BloombergGPT: A Large Language Model for Finance 2023-03-30	코드 1 · 코드 2
T5-Large 770M (fine-tuned)	Accuracy 83.4	Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
BERT-SocialIQA 340M	Accuracy 83.4	SocialIQA: Commonsense Reasoning about Social Interactions 2019-04-22	코드 1
Hybrid H3 2.7B (0-shot, logit scoring)	Accuracy 81	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
BERT-large 340M	Accuracy 80.8	SocialIQA: Commonsense Reasoning about Social Interactions 2019-04-22	코드 1
RoE-3B	Accuracy 79.25	Exploring the Benefits of Training Expert Language Models over Instruction Tuning 2023-02-07	코드 1 · 코드 2
sMLP – deterministic 9.4B (0-shot)	Accuracy 79	Efficient Language Modeling with Sparse all-MLP 2022-03-14	연결 없음
KELM (finetuning BERT-large based single model)	Accuracy 78.0	KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs 2021-09-09	코드 1
AlexaTM 20B	Accuracy 78.0	AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model 2022-08-02	코드 1
Neo-6B (few-shot)	Accuracy 77.0	Ask Me Anything: A simple strategy for prompting language models 2022-10-05	코드 1 · 코드 2 · 코드 3
Hybrid H3 2.7B (3-shot, logit scoring)	Accuracy 77	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
Causal Strength w/multi-word predicates (presumably on WinoGrande?)	Accuracy 76.4	WinoGrande: An Adversarial Winograd Schema Challenge at Scale 2019-07-24	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
Gshard 9B	Accuracy 76	Efficient Language Modeling with Sparse all-MLP 2022-03-14	연결 없음
Switch Transformer 9B	Accuracy 75	Efficient Language Modeling with Sparse all-MLP 2022-03-14	연결 없음
GPT-3 Large 760M (0-shot)	Accuracy 73.0	Language Models are Few-Shot Learners 2020-05-28	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
Causal Strength Computation w/multi-word predicates (on ClueWeb12)	Accuracy 71.2	Handling Multiword Expressions in Causality Estimation 2017-01-01	연결 없음
T5-Base 220M (fine-tuned)	Accuracy 71.2	Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
Causal Strength Computation (on Causal Net)	Accuracy 70.2	Handling Multiword Expressions in Causality Estimation 2017-01-01	연결 없음
Causal Strength Computation (on ClueWeb12)	Accuracy 69.9	Handling Multiword Expressions in Causality Estimation 2017-01-01	연결 없음
Hybrid H3 125M (0-shot, logit scoring)	Accuracy 67	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
Hybrid H3 125M (0-shot, rank classification)	Accuracy 67	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
Pointwise Mutual Information (on 10M stories)	Accuracy 65.4	WinoGrande: An Adversarial Winograd Schema Challenge at Scale 2019-07-24	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
HASH Layers 10B (0-shot)	Accuracy 64	Efficient Language Modeling with Sparse all-MLP 2022-03-14	연결 없음
Base Layers 10B (0-shot)	Accuracy 63	Efficient Language Modeling with Sparse all-MLP 2022-03-14	연결 없음
N-Grammer 343M	Accuracy 60.0	N-Grammer: Augmenting Transformers with latent n-grams 2022-07-13	코드 1 · 코드 2
Pointwise Mutual Information (on Project Gutenberg)	Accuracy 58.8	Handling Multiword Expressions in Causality Estimation 2017-01-01	연결 없음
Neo-6B (QA)	Accuracy 58.2	Ask Me Anything: A simple strategy for prompting language models 2022-10-05	코드 1 · 코드 2 · 코드 3
H3 125M (0-shot, rank classification)	Accuracy 51	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
Random chance baseline	Accuracy 50	Handling Multiword Expressions in Causality Estimation 2017-01-01	연결 없음