Papers with Code · CC BY-SA 4.0

BIRD (BIg Bench for LaRge-scale Database Grounded Text-to-SQL Evaluation)

아카이브 평가 41건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
XiYan-SQL	Execution Accuracy % (Test) 75.63 Execution Accuracy % (Dev) 73.34	A Preview of XiYan-SQL: A Multi-Generator Ensemble Framework for Text-to-SQL 2024-11-13	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5
DSAIR + GPT-4o	Execution Accuracy % (Test) 74.12 Execution Accuracy % (Dev) 74.32	연결 없음 논문 날짜 미기재	연결 없음
CHASE-SQL + Gemini	Execution Accuracy % (Test) 74.06 Execution Accuracy % (Dev) 73.14	CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL 2024-10-02	연결 없음
ExSL + granite-34b-code	Execution Accuracy % (Test) 73.17 Execution Accuracy % (Dev) 72.43	연결 없음 논문 날짜 미기재	연결 없음
OpenSearch-SQL+ v2 + GPT-4o	Execution Accuracy % (Test) 72.28 Execution Accuracy % (Dev) 69.3	연결 없음 논문 날짜 미기재	연결 없음
Distillery + GPT-4o	Execution Accuracy % (Test) 71.83 Execution Accuracy % (Dev) 67.21	The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models 2024-08-14	연결 없음
Insights AI	Execution Accuracy % (Test) 70.26 Execution Accuracy % (Dev) 72.16	연결 없음 논문 날짜 미기재	연결 없음
PURPLE + RED + GPT-4o	Execution Accuracy % (Test) 70.21 Execution Accuracy % (Dev) 68.12	연결 없음 논문 날짜 미기재	연결 없음
MCTS-SQL	Execution Accuracy % (Test) 69.40 Execution Accuracy % (Dev) 68.91	연결 없음 논문 날짜 미기재	연결 없음
RECAP + Gemini	Execution Accuracy % (Test) 69.03 Execution Accuracy % (Dev) 66.95	연결 없음 논문 날짜 미기재	연결 없음
ByteBrain	Execution Accuracy % (Test) 68.87 Execution Accuracy % (Dev) 65.45	연결 없음 논문 날짜 미기재	연결 없음
ExSL + granite-20b-code	Execution Accuracy % (Test) 67.86 Execution Accuracy % (Dev) 65.38	연결 없음 논문 날짜 미기재	연결 없음
CHESS	Execution Accuracy % (Test) 66.69 Execution Accuracy % (Dev) 65	CHESS: Contextual Harnessing for Efficient SQL Synthesis 2024-05-27	코드 1 · 코드 2
Arcwise + GPT-4o	Execution Accuracy % (Test) 66.21 Execution Accuracy % (Dev) 67.99	연결 없음 논문 날짜 미기재	연결 없음
MCS-SQL + GPT-4	Execution Accuracy % (Test) 65.45 Execution Accuracy % (Dev) 63.36	연결 없음 논문 날짜 미기재	연결 없음
SCL-SQL	Execution Accuracy % (Test) 65.23 Execution Accuracy % (Dev) 64.73	연결 없음 논문 날짜 미기재	연결 없음
OpenSearch-SQL v1 + GPT-4	Execution Accuracy % (Test) 64.95 Execution Accuracy % (Dev) 61.34	연결 없음 논문 날짜 미기재	연결 없음
PB-SQL v1	Execution Accuracy % (Test) 64.84 Execution Accuracy % (Dev) 60.5	연결 없음 논문 날짜 미기재	연결 없음
PURPLE + GPT-4o	Execution Accuracy % (Test) 64.51 Execution Accuracy % (Dev) 62.97	연결 없음 논문 날짜 미기재	연결 없음
MSL-SQL + DeepSeek-V2.5	Execution Accuracy % (Test) 64.00 Execution Accuracy % (Dev) 66.82	연결 없음 논문 날짜 미기재	연결 없음
SENSE-13B	Execution Accuracy % (Test) 63.39 Execution Accuracy % (Dev) 55.48	연결 없음 논문 날짜 미기재	연결 없음
SENSE	Execution Accuracy % (Test) 63.39 Execution Accuracy % (Dev) 55.48	연결 없음 논문 날짜 미기재	연결 없음
GRA-SQL	Execution Accuracy % (Test) 63.22 Execution Accuracy % (Dev) 62.58	연결 없음 논문 날짜 미기재	연결 없음
SuperSQL	Execution Accuracy % (Test) 62.66 Execution Accuracy % (Dev) 58.5	연결 없음 논문 날짜 미기재	연결 없음
Dubo-SQL, v1	Execution Accuracy % (Test) 60.71 Execution Accuracy % (Dev) 59.71	연결 없음 논문 날짜 미기재	연결 없음
SFT CodeS-15B	Execution Accuracy % (Test) 60.37 Execution Accuracy % (Dev) 58.47	연결 없음 논문 날짜 미기재	연결 없음
MAC-SQL + GPT-4	Execution Accuracy % (Test) 59.59 Execution Accuracy % (Dev) 57.56	MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL 2023-12-18	코드 1
SFT CodeS-7B	Execution Accuracy % (Test) 59.25 Execution Accuracy % (Dev) 57.17	연결 없음 논문 날짜 미기재	연결 없음
DAIL-SQL + GPT-4	Execution Accuracy % (Test) 57.41 Execution Accuracy % (Dev) 54.76	Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation 2023-08-29	코드 1
DIN-SQL + GPT-4	Execution Accuracy % (Test) 55.90 Execution Accuracy % (Dev) 50.72	DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction 2023-04-21	코드 1