Papers with Code · CC BY-SA 4.0

MuSeRC

아카이브 평가 22건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
Golden Transformer	Average F1 0.941 EM 0.819	연결 없음 논문 날짜 미기재	연결 없음
MT5 Large	Average F1 0.844 EM 0.543	mT5: A massively multilingual pre-trained text-to-text transformer 2020-10-22	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
ruRoberta-large finetune	Average F1 0.83 EM 0.561	연결 없음 논문 날짜 미기재	연결 없음
ruT5-large-finetune	Average F1 0.815 EM 0.537	연결 없음 논문 날짜 미기재	연결 없음
Human Benchmark	Average F1 0.806 EM 0.42	RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark 2020-10-29	코드 1 · 코드 2
ruT5-base-finetune	Average F1 0.769 EM 0.446	연결 없음 논문 날짜 미기재	연결 없음
ruBert-large finetune	Average F1 0.76 EM 0.427	연결 없음 논문 날짜 미기재	연결 없음
ruBert-base finetune	Average F1 0.742 EM 0.399	연결 없음 논문 날짜 미기재	연결 없음
RuGPT3XL few-shot	Average F1 0.74 EM 0.546	연결 없음 논문 날짜 미기재	연결 없음
RuGPT3Large	Average F1 0.729 EM 0.333	연결 없음 논문 날짜 미기재	연결 없음
RuBERT plain	Average F1 0.711 EM 0.324	연결 없음 논문 날짜 미기재	연결 없음
RuGPT3Medium	Average F1 0.706 EM 0.308	연결 없음 논문 날짜 미기재	연결 없음
RuBERT conversational	Average F1 0.687 EM 0.278	연결 없음 논문 날짜 미기재	연결 없음
YaLM 1.0B few-shot	Average F1 0.673 EM 0.364	연결 없음 논문 날짜 미기재	연결 없음
heuristic majority	Average F1 0.671 EM 0.237	Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks 2021-05-03	연결 없음
RuGPT3Small	Average F1 0.653 EM 0.221	연결 없음 논문 날짜 미기재	연결 없음
SBERT_Large	Average F1 0.646 EM 0.327	연결 없음 논문 날짜 미기재	연결 없음
SBERT_Large_mt_ru_finetuning	Average F1 0.642 EM 0.319	연결 없음 논문 날짜 미기재	연결 없음
Multilingual Bert	Average F1 0.639 EM 0.239	연결 없음 논문 날짜 미기재	연결 없음
Baseline TF-IDF1.1	Average F1 0.587 EM 0.242	RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark 2020-10-29	코드 1 · 코드 2
Random weighted	Average F1 0.45 EM 0.071	Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks 2021-05-03	연결 없음
majority_class	Average F1 0.0 EM 0.0	Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks 2021-05-03	연결 없음