PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Semantic Textual Similarity

324 평가 기록 24 datasets

Semantic textual similarity deals with determining how similar two pieces of texts are. This can take the form of assigning a score from 1 to 5. Related tasks are paraphrase or duplicate identification.

Image source: Learning Semantic Textual Similarity from Conversations

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
MT-DNN-SMART
Pearson Correlation: 0.929Spearman Correlation: 0.925
논문 코드
MT-DNN-SMART
Accuracy: 93.7%F1: 91.7
논문 코드
ALICE
F1: 90.7
논문 코드
AnglE-UAE
Spearman Correlation: 84.54
논문 코드
PromCSE-RoBERTa-large (0.355B)
Spearman Correlation: 0.8243
논문 코드
AnglE-LLaMA-7B
Spearman Correlation: 0.9058
논문 코드
AnglE-LLaMA-13B
Spearman Correlation: 0.8689
논문 코드
PromptEOL+CSE+OPT-13B
Spearman Correlation: 0.8020
논문 코드
PromptEOL+CSE+LLaMA-30B
Spearman Correlation: 0.9004
논문 코드
AnglE-LLaMA-7B-v2
Spearman Correlation: 0.8700
논문 코드
GenSen
MRPC: 78.6/84.4SICK-R: 0.888SICK-E: 87.8STS: 78.9/78.6
논문 코드
CxC
PromCSE-RoBERTa-large (0.355B)
avg ± std: 74.8± 1.0
논문 코드

데이터셋

24개
STS BenchmarkMRPCQuora Question PairsMTEBSICKSTS13STS14STS12STS15STS16SentEvalCxC

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/amzn/trans-encoder 1 논문
github.com/4ai/bellm 1 논문
github.com/kongds/scaling_sentemb 1 논문
github.com/SeanLee97/AnglE 1 논문
github.com/bhuvanakundumani/SimCSE_unsupervised 1 논문
github.com/BM-K/KoSimCSE 1 논문
github.com/BM-K/KoSimCSE_SKT 1 논문
github.com/bm-k/kosimcse-skt 1 논문

하위 태스크

PI Paraphrase Identification 11 데이터셋 · 44 rows CS Cross-Lingual Semantic Textual Similarity 0 데이터셋 · 0 rows