← Question Answering
Papers with Code · CC BY-SA 4.0

DROP Test

아카이브 평가 16건 · 마지막 적재/변경

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델원본 지표·값논문구현
QDGAT (ensemble)
F1
88.38
Question Directed Graph Attention Network for Numerical Reasoning over Text
2020-09-16
연결 없음
POET
F1
87.6
Reasoning Like Program Executors
2022-01-27
코드 1
PaLM 2 (few-shot)
F1
85.0
PaLM 2 Technical Report
2023-05-17
코드 1
BERT+Calculator (ensemble)
F1
81.78
Giving BERT a Calculator: Finding Operations and Arguments with Reading Comprehension
2019-08-31
연결 없음
NeRd
F1
81.71
Neural Symbolic Reader: Scalable Integration of Distributed and Symbolic Representations for Reading Comprehension
2020-05-01
연결 없음
GPT-4 (few-shot, k=3)
F1
80.9
GPT-4 Technical Report
2023-03-15
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
TASE-BERT
F1
80.7
A Simple and Effective Model for Answering Multi-span Questions
2019-09-29
코드 1 · 코드 2 · 코드 3 · 코드 4
MTMSN Large
F1
79.88
A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning
2019-08-15
코드 1
GenBERT (+ND+TD)
F1
72.4
Injecting Numerical Reasoning Skills into Language Models
2020-04-09
코드 1 · 코드 2
NumNet
F1
67.97
NumNet: Machine Reading Comprehension with Numerical Reasoning
2019-10-15
코드 1 · 코드 2
GPT 3.5 (few-shot, k=3)
F1
64.1
GPT-4 Technical Report
2023-03-15
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
Orca 2-7B
F1
60.26
Orca 2: Teaching Small Language Models How to Reason
2023-11-18
연결 없음
Orca 2-13B
F1
57.97
Orca 2: Teaching Small Language Models How to Reason
2023-11-18
연결 없음
NAQA Net
F1
47.01
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
2019-03-01
코드 1 · 코드 2 · 코드 3
GPT-3 175B (few-shot, k=32)
F1
36.5
Language Models are Few-Shot Learners
2020-05-28
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67
BERT
F1
32.7
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
2019-03-01
코드 1 · 코드 2 · 코드 3