← Long-range modeling
Papers with Code · CC BY-SA 4.0

SCROLLS

아카이브 평가 13건 · 마지막 적재/변경

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델원본 지표·값논문구현
CoLT5 XL
GovRep
61.3/32.2/33.8
SumScr
36.4/10.2/21.7
QMSum
36.2/12.9/24.3
Qspr
53.9
Nrtv
31.1
QALT EM-T/H
48.1/43.8
CNLI
88.4
Avg.
43.51
CoLT5: Faster Long-Range Transformers with Conditional Computation
2023-03-17
연결 없음
LongT5 XL
GovRep
61.1 / 32.3 / 33.7
SumScr
35.8 / 9.6 / 21.1
QMSum
34.9 / 11.8 / 23.5
Qspr
53.1
Nrtv
29.3
QALT EM-T/H
46.0 / 42.1
CNLI
88.2
Avg.
42.53
LongT5: Efficient Text-To-Text Transformer for Long Sequences
2021-12-15
코드 1 · 코드 2 · 코드 3 · 코드 4
LongT5 Large
GovRep
61.3/32.2/33.8
SumScr
60.3 / 31.1 / 32.8
QMSum
35.1 / 12.0 / 23.3
Qspr
52.3
Nrtv
27.2
QALT EM-T/H
40.6 / 38.6
CNLI
87.3
Avg.
41.03
LongT5: Efficient Text-To-Text Transformer for Long Sequences
2021-12-15
코드 1 · 코드 2 · 코드 3 · 코드 4
BART-LS
GovRep
59.4 / 29.8 / 30.8
SumScr
37.7 / 10.2 / 21.5
QMSum
35.1 / 11.0 / 22.0
Qspr
48.7
Nrtv
26.2
QALT EM-T/H
37.8 / 34.0
CNLI
87.1
Avg.
39.76
Adapting Pretrained Text-to-Text Models for Long Text Sequences
2022-09-21
코드 1
LongT5 Base
GovRep
57.7 / 30.0 / 31.4
SumScr
34.8 / 9.6 / 21.1
QMSum
33.9 / 11.0 / 22.8
Qspr
46.6
Nrtv
23.0
QALT EM-T/H
37.9 / 36.6
CNLI
85.6
Avg.
38.6
LongT5: Efficient Text-To-Text Transformer for Long Sequences
2021-12-15
코드 1 · 코드 2 · 코드 3 · 코드 4
BART-large SLED
GovRep
57.5 / 26.3 / 27.4
SumScr
35.2 / 8.7 / 19.4
QMSum
34.2 / 11.0 / 22.0
Qspr
46.9
Nrtv
24.1
QALT EM-T/H
34.8 / 34.8
CNLI
87.3
Avg.
37.99
Efficient Long-Text Understanding with Short-Text Models
2022-08-01
코드 1
UL2
GovRep
53.6 / 26.1 / 28.8
SumScr
32.9 / 7.8 / 19.4
QMSum
31.1 / 8.5 / 20.4
Qspr
37.6
Nrtv
24.2
QALT EM-T/H
45.8 / 40.7
Avg.
37.87
UL2: Unifying Language Learning Paradigms
2022-05-10
코드 1 · 코드 2
LED Base
GovRep
56.2 / 26.6 / 28.8
SumScr
24.2 / 4.5 / 15.4
QMSum
25.1 / 6.7 / 18.8
Qspr
26.6
Nrtv
18.5
QALT EM-T/H
25.8 / 25.4
CNLI
71.5
Avg.
29.16
SCROLLS: Standardized CompaRison Over Long Language Sequences
2022-01-10
코드 1 · 코드 2
BART Base
GovRep
47.9 / 18.6 / 22.7
SumScr
27.2 / 4.9 / 16.7
QMSum
30.2 / 8.7 / 20.7
Qspr
26.3
Nrtv
15.4
QALT EM-T/H
26.0 / 25.9
CNLI
77.4
Avg.
29.01
SCROLLS: Standardized CompaRison Over Long Language Sequences
2022-01-10
코드 1 · 코드 2
Naive
GovRep
45.3 / 17.9 / 20.8
SumScr
19.6 / 1.8 / 11.0
QMSum
14.2 / 2.0 / 9.3
Qspr
3.4
Nrtv
1.5
QALT EM-T/H
25.2 / 26.1
CNLI
66
Avg.
19.35
SCROLLS: Standardized CompaRison Over Long Language Sequences
2022-01-10
코드 1 · 코드 2
PEGASUS-X
GovRep
60.3 / 30.0 / 31.5
SumScr
35.7 / 9.1 / 20.6
QMSum
33.2 / 9.6 / 21.6
Investigating Efficiently Extending Transformers for Long Input Summarization
2022-08-08
코드 1 · 코드 2
PEGASUS-X-Base
GovRep
59.3 / 29.3 / 30.9
SumScr
35.0 / 8.9 / 20.4
QMSum
32.9 / 9.8 / 21.4
Investigating Efficiently Extending Transformers for Long Input Summarization
2022-08-08
코드 1 · 코드 2
UL2 20B
CNLI
88.7
UL2: Unifying Language Learning Paradigms
2022-05-10
코드 1 · 코드 2