GovRep: 61.1 / 32.3 / 33.7SumScr: 35.8 / 9.6 / 21.1QMSum: 34.9 / 11.8 / 23.5Qspr: 53.1
Papers with Code · CC BY-SA 4.0
Long-range modeling
A new task for testing the long-sequence modeling capabilities and efficiency of language models.
Image credit: SCROLLS: Standardized CompaRison Over Long Language Sequences
개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.
벤치마크
Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.
데이터셋
2개논문
GovRep: 56.2 / 26.6 / 28.8SumScr: 24.2 / 4.5 / 15.4QMSum: 25.1 / 6.7 / 18.8Qspr: 26.6
GovRep: 60.3 / 30.0 / 31.5SumScr: 35.7 / 9.1 / 20.6QMSum: 33.2 / 9.6 / 21.6
GovRep: 59.4 / 29.8 / 30.8SumScr: 37.7 / 10.2 / 21.5QMSum: 35.1 / 11.0 / 22.0Qspr: 48.7
GovRep: 61.3/32.2/33.8SumScr: 36.4/10.2/21.7QMSum: 36.2/12.9/24.3Qspr: 53.9
GovRep: 57.5 / 26.3 / 27.4SumScr: 35.2 / 8.7 / 19.4QMSum: 34.2 / 11.0 / 22.0Qspr: 46.9
GovRep: 53.6 / 26.1 / 28.8SumScr: 32.9 / 7.8 / 19.4QMSum: 31.1 / 8.5 / 20.4Qspr: 37.6
라이브러리
Papers with Code 리더보드 row에 연결된 구현 저장소입니다.
github.com/mivg/sled
2 논문