← Question Answering
Papers with Code · CC BY-SA 4.0

HotpotQA

아카이브 평가 71건 · 마지막 적재/변경

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델원본 지표·값논문구현
Beam Retrieval
ANS-EM
0.727
ANS-F1
0.850
SUP-EM
0.663
SUP-F1
0.901
JOINT-EM
0.505
JOINT-F1
0.775
End-to-End Beam Retrieval for Multi-Hop Question Answering
2023-08-17
코드 1 · 코드 2 · 코드 3
BigBird-etc
ANS-F1
0.755
SUP-F1
0.891
JOINT-F1
0.736
Big Bird: Transformers for Longer Sequences
2020-07-28
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
AISO
ANS-EM
0.675
ANS-F1
0.805
SUP-EM
0.612
SUP-F1
0.860
JOINT-EM
0.449
JOINT-F1
0.720
Adaptive Information Seeking for Open-Domain Question Answering
2021-09-14
코드 1
Chain-of-Skills
ANS-EM
0.674
ANS-F1
0.801
SUP-EM
0.613
SUP-F1
0.853
JOINT-EM
0.457
JOINT-F1
0.717
Chain-of-Skills: A Configurable Model for Open-domain Question Answering
2023-05-04
코드 1
TPRR
ANS-EM
0.670
ANS-F1
0.795
SUP-EM
0.594
SUP-F1
0.843
JOINT-EM
0.444
JOINT-F1
0.708
연결 없음
논문 날짜 미기재
연결 없음
HopRetriever + Sp-search
ANS-EM
0.671
ANS-F1
0.799
SUP-EM
0.574
SUP-F1
0.835
JOINT-EM
0.432
JOINT-F1
0.706
HopRetriever: Retrieve Hops over Wikipedia to Answer Complex Questions
2020-12-31
연결 없음
EBS-Large
ANS-EM
0.662
ANS-F1
0.793
SUP-EM
0.573
SUP-F1
0.840
JOINT-EM
0.420
JOINT-F1
0.700
연결 없음
논문 날짜 미기재
연결 없음
HopRetriever
ANS-EM
0.671
ANS-F1
0.799
SUP-EM
0.572
SUP-F1
0.826
JOINT-EM
0.431
JOINT-F1
0.698
연결 없음
논문 날짜 미기재
연결 없음
IRRR+
ANS-EM
0.663
ANS-F1
0.791
SUP-EM
0.569
SUP-F1
0.832
JOINT-EM
0.428
JOINT-F1
0.696
Answering Open-Domain Questions of Varying Reasoning Steps from Text
2020-10-23
코드 1
EBS-SH
ANS-EM
0.655
ANS-F1
0.786
SUP-EM
0.559
SUP-F1
0.831
JOINT-EM
0.409
JOINT-F1
0.689
연결 없음
논문 날짜 미기재
연결 없음
IRRR
ANS-EM
0.657
ANS-F1
0.782
SUP-EM
0.559
SUP-F1
0.821
JOINT-EM
0.421
JOINT-F1
0.686
Answering Open-Domain Questions of Varying Reasoning Steps from Text
2020-10-23
코드 1
HopRetriever-V2
ANS-EM
0.648
ANS-F1
0.778
SUP-EM
0.561
SUP-F1
0.818
JOINT-EM
0.410
JOINT-F1
0.678
연결 없음
논문 날짜 미기재
연결 없음
AFSGraph-retriever
ANS-EM
0.646
ANS-F1
0.778
SUP-EM
0.557
SUP-F1
0.812
JOINT-EM
0.411
JOINT-F1
0.670
연결 없음
논문 날짜 미기재
연결 없음
Recursive Dense Retriever
ANS-EM
0.623
ANS-F1
0.753
SUP-EM
0.575
SUP-F1
0.809
JOINT-EM
0.418
JOINT-F1
0.666
Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval
2020-09-27
코드 1
Step-by-Step Retriever
ANS-EM
0.630
ANS-F1
0.754
SUP-EM
0.546
SUP-F1
0.800
JOINT-EM
0.404
JOINT-F1
0.662
연결 없음
논문 날짜 미기재
연결 없음
DDRQA
ANS-EM
0.625
ANS-F1
0.759
SUP-EM
0.510
SUP-F1
0.789
JOINT-EM
0.360
JOINT-F1
0.639
Answering Any-hop Open-domain Questions with Iterative Document Reranking
2020-09-16
연결 없음
HopRetriever-V1
ANS-EM
0.608
ANS-F1
0.739
SUP-EM
0.531
SUP-F1
0.793
JOINT-EM
0.380
JOINT-F1
0.639
연결 없음
논문 날짜 미기재
연결 없음
DR model large
ANS-EM
0.620
ANS-F1
0.753
SUP-EM
0.499
SUP-F1
0.778
JOINT-EM
0.354
JOINT-F1
0.630
연결 없음
논문 날짜 미기재
연결 없음
Model name
ANS-EM
0.617
ANS-F1
0.746
SUP-EM
0.500
SUP-F1
0.772
JOINT-EM
0.368
JOINT-F1
0.629
연결 없음
논문 날짜 미기재
연결 없음
HopAns
ANS-EM
0.617
ANS-F1
0.746
SUP-EM
0.500
SUP-F1
0.772
JOINT-EM
0.368
JOINT-F1
0.629
연결 없음
논문 날짜 미기재
연결 없음
Anonymous
ANS-EM
0.604
ANS-F1
0.732
SUP-EM
0.520
SUP-F1
0.771
JOINT-EM
0.380
JOINT-F1
0.629
연결 없음
논문 날짜 미기재
연결 없음
Multi-dimensional-AFSGraph
ANS-EM
0.615
ANS-F1
0.746
SUP-EM
0.503
SUP-F1
0.772
JOINT-EM
0.362
JOINT-F1
0.624
연결 없음
논문 날짜 미기재
연결 없음
HGN-albert + SemanticRetrievalMRS IR
ANS-EM
0.597
ANS-F1
0.714
SUP-EM
0.510
SUP-F1
0.774
JOINT-EM
0.379
JOINT-F1
0.623
연결 없음
논문 날짜 미기재
연결 없음
Tree-shaped-cluster
ANS-EM
0.603
ANS-F1
0.731
SUP-EM
0.499
SUP-F1
0.768
JOINT-EM
0.359
JOINT-F1
0.617
연결 없음
논문 날짜 미기재
연결 없음
AFSgraph
ANS-EM
0.601
ANS-F1
0.730
SUP-EM
0.500
SUP-F1
0.769
JOINT-EM
0.359
JOINT-F1
0.617
연결 없음
논문 날짜 미기재
연결 없음
Robustly Fine-tuned Graph-based Recurrent Retriever
ANS-EM
0.600
ANS-F1
0.730
SUP-EM
0.491
SUP-F1
0.764
JOINT-EM
0.354
JOINT-F1
0.612
Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering
2019-11-24
코드 1 · 코드 2
AFSgraph model
ANS-EM
0.601
ANS-F1
0.730
SUP-EM
0.485
SUP-F1
0.759
JOINT-EM
0.350
JOINT-F1
0.609
연결 없음
논문 날짜 미기재
연결 없음
HGN-large + SemanticRetrievalMRS IR
ANS-EM
0.579
ANS-F1
0.699
SUP-EM
0.510
SUP-F1
0.768
JOINT-EM
0.372
JOINT-F1
0.607
연결 없음
논문 날짜 미기재
연결 없음
RoBERTa-DenseRetriever-Fast
ANS-EM
0.598
ANS-F1
0.727
SUP-EM
0.480
SUP-F1
0.749
JOINT-EM
0.345
JOINT-F1
0.602
연결 없음
논문 날짜 미기재
연결 없음
DPR-recurrent
ANS-EM
0.598
ANS-F1
0.727
SUP-EM
0.480
SUP-F1
0.749
JOINT-EM
0.345
JOINT-F1
0.602
연결 없음
논문 날짜 미기재
연결 없음