Papers with Code · CC BY-SA 4.0

RuCoS

아카이브 평가 22건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
Human Benchmark	Average F1 0.93 EM 0.89	RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark 2020-10-29	코드 1 · 코드 2
Golden Transformer	Average F1 0.92 EM 0.924	연결 없음 논문 날짜 미기재	연결 없음
YaLM 1.0B few-shot	Average F1 0.86 EM 0.859	연결 없음 논문 날짜 미기재	연결 없음
ruT5-large-finetune	Average F1 0.81 EM 0.764	연결 없음 논문 날짜 미기재	연결 없음
ruT5-base-finetune	Average F1 0.79 EM 0.752	연결 없음 논문 날짜 미기재	연결 없음
ruBert-base finetune	Average F1 0.74 EM 0.716	연결 없음 논문 날짜 미기재	연결 없음
ruRoberta-large finetune	Average F1 0.73 EM 0.716	연결 없음 논문 날짜 미기재	연결 없음
ruBert-large finetune	Average F1 0.68 EM 0.658	연결 없음 논문 날짜 미기재	연결 없음
RuGPT3XL few-shot	Average F1 0.67 EM 0.665	연결 없음 논문 날짜 미기재	연결 없음
MT5 Large	Average F1 0.57 EM 0.562	mT5: A massively multilingual pre-trained text-to-text transformer 2020-10-22	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
SBERT_Large	Average F1 0.36 EM 0.351	연결 없음 논문 날짜 미기재	연결 없음
SBERT_Large_mt_ru_finetuning	Average F1 0.35 EM 0.347	연결 없음 논문 날짜 미기재	연결 없음
RuBERT plain	Average F1 0.32 EM 0.314	연결 없음 논문 날짜 미기재	연결 없음
Multilingual Bert	Average F1 0.29 EM 0.29	연결 없음 논문 날짜 미기재	연결 없음
heuristic majority	Average F1 0.26 EM 0.257	Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks 2021-05-03	연결 없음
Baseline TF-IDF1.1	Average F1 0.26 EM 0.252	RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark 2020-10-29	코드 1 · 코드 2
Random weighted	Average F1 0.25 EM 0.247	Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks 2021-05-03	연결 없음
majority_class	Average F1 0.25 EM 0.247	Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks 2021-05-03	연결 없음
RuGPT3Medium	Average F1 0.23 EM 0.224	연결 없음 논문 날짜 미기재	연결 없음
RuBERT conversational	Average F1 0.22 EM 0.218	연결 없음 논문 날짜 미기재	연결 없음
RuGPT3Small	Average F1 0.21 EM 0.204	연결 없음 논문 날짜 미기재	연결 없음
RuGPT3Large	Average F1 0.21 EM 0.202	연결 없음 논문 날짜 미기재	연결 없음