← Question Answering
Papers with Code · CC BY-SA 4.0

COPA

아카이브 평가 60건 · 마지막 적재/변경

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델원본 지표·값논문구현
PaLM 540B (finetuned)
Accuracy
100
PaLM: Scaling Language Modeling with Pathways
2022-04-05
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
Vega v2 6B (KD-based prompt transfer)
Accuracy
99.4
Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE
2022-12-04
연결 없음
ST-MoE-32B 269B (fine-tuned)
Accuracy
99.2
ST-MoE: Designing Stable and Transferable Sparse Expert Models
2022-02-17
코드 1 · 코드 2 · 코드 3
UL2 20B (fine-tuned)
Accuracy
99
UL2: Unifying Language Learning Paradigms
2022-05-10
코드 1 · 코드 2
DeBERTa-Ensemble
Accuracy
98.4
DeBERTa: Decoding-enhanced BERT with Disentangled Attention
2020-06-05
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
Turing NLR v5 XXL 5.4B (fine-tuned)
Accuracy
98.2
Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE
2022-12-04
연결 없음
DeBERTa-1.5B
Accuracy
96.8
DeBERTa: Decoding-enhanced BERT with Disentangled Attention
2020-06-05
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
PaLM 2-L (1-shot)
Accuracy
96.0
PaLM 2 Technical Report
2023-05-17
코드 1
T5-XXL 11B (fine-tuned)
Accuracy
94.8
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10-23
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
FLAN 137B (prompt-tuned)
Accuracy
94
Finetuned Language Models Are Zero-Shot Learners
2021-09-03
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
GPT-3 175B (few-shot, k=32)
Accuracy
92
Language Models are Few-Shot Learners
2020-05-28
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
T5-XL 3B (fine-tuned)
Accuracy
92
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10-23
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
FLAN 137B (zero-shot)
Accuracy
91
Finetuned Language Models Are Zero-Shot Learners
2021-09-03
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
ST-MoE-L 4.1B (fine-tuned)
Accuracy
91
ST-MoE: Designing Stable and Transferable Sparse Expert Models
2022-02-17
코드 1 · 코드 2 · 코드 3
GPT-3 175B (0-shot)
Accuracy
91
Language Models are Few-Shot Learners
2020-05-28
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
T0-3B (CoT fine-tuned)
Accuracy
90.9
The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning
2023-05-23
코드 1 · 코드 2
RoBERTa-Winogrande-ft 355M (fine-tuned)
Accuracy
90.6
WinoGrande: An Adversarial Winograd Schema Challenge at Scale
2019-07-24
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
PaLM 2-M (1-shot)
Accuracy
90.0
PaLM 2 Technical Report
2023-05-17
코드 1
Flipped-3B
Accuracy
89.88
Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-Shot Learners
2022-10-06
코드 1
PaLM 2-S (1-shot)
Accuracy
89.0
PaLM 2 Technical Report
2023-05-17
코드 1
GPT-NeoX (one-shot)
Accuracy
88
BloombergGPT: A Large Language Model for Finance
2023-03-30
코드 1 · 코드 2
FLAN 137B (few-shot, k=16)
Accuracy
87
Finetuned Language Models Are Zero-Shot Learners
2021-09-03
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
GPT-3 175B (1-shot)
Accuracy
87
Language Models are Few-Shot Learners
2020-05-28
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
RoBERTa-ft 355M (fine-tuned)
Accuracy
86.4
WinoGrande: An Adversarial Winograd Schema Challenge at Scale
2019-07-24
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
Bloomberg GPT (one-shot)
Accuracy
86
BloombergGPT: A Large Language Model for Finance
2023-03-30
코드 1 · 코드 2
OPT 66B (one-shot)
Accuracy
86
BloombergGPT: A Large Language Model for Finance
2023-03-30
코드 1 · 코드 2
GPT-3 13B (few-shot, k=32)
Accuracy
86
Language Models are Few-Shot Learners
2020-05-28
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
KiC-770M
Accuracy
85.30
Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models
2022-10-28
연결 없음
UL2 20B (0-shot)
Accuracy
85
UL2: Unifying Language Learning Paradigms
2022-05-10
코드 1 · 코드 2
RoBERTa-Winogrande 355M (fine-tuned)
Accuracy
84.4
WinoGrande: An Adversarial Winograd Schema Challenge at Scale
2019-07-24
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10