Papers with Code · CC BY-SA 4.0

Text-To-SQL

92 평가 기록 11 datasets

Text-to-SQL is a task in natural language processing (NLP) where the goal is to automatically generate SQL queries from natural language text. The task involves converting the text input into a structured representation and then using this representation to generate a semantically correct SQL query that can be executed on a database.

<span style="color:grey; opacity: 0.6">( Image credit: SyntaxSQLNet )</span>

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
XiYan-SQL
Execution Accuracy % (Test): 75.63Execution Accuracy % (Dev): 73.34
논문 코드
XiYan-SQL
Execution Accuracy (Test): 89.65
논문 코드
Spider-Agent + o1-preview
Success Rate: 17.03
논문 -
RASAT+PICARD
interaction match accuracy: 45.2question match accuracy: 67.7
논문 코드
GPT-4 Turbo
TDEX: 67.0
논문 코드
T5-3B+PICARD
Exact Match Accuracy (in Dev): 75.5Execution Accuracy (in Dev): 79.3
논문 코드
RAT-SQL
Exact Match (EM): 26.77
논문 코드
sdfa
0..5sec: dafa
논문 코드
T5-Large
PCM-F1 (dev): 48.2PCM-F1 (test): 50.6
논문 코드
XiYan-SQL
Execution Accuracy: 69.86
논문 코드
Orange-mini
0-shot MRR: 74.17
논문 코드

데이터셋

11개

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

하위 태스크