BIRD-History: 세밀한 지식 주석을 갖춘 이력 기반 Text-to-SQL 벤치마크
BIRD-History: A Benchmark for History-Driven Text-to-SQL with Fine-Grained Knowledge Annotations
한국어 초록
최근 대규모 언어 모델(LLM) 기반 text-to-SQL 시스템은 표준 벤치마크에서 인상적인 성능을 달성하지만, 사용자 질의가 스키마에 담기지 않고 자연어 질문에도 명시되지 않은 비즈니스 로직, 데이터 관례, 분석 관행 같은 도메인 특화 지식에 암묵적으로 의존할 때는 어려움을 겪는다. 과거 SQL 쿼리 로그는 이러한 지식의 유용한 출처이나, 기존 벤치마크는 이력 기반 접근법의 평가를 충분히 지원하지 않는다. 이 공백을 메우기 위해 우리는 11개 데이터베이스에 걸친 1,393개 과제로 구성된 벤치마크 BIRD-History를 제안하며, 과거 SQL 스크립트를 이용해 명시가 부족한 자연어 질문을 그라운딩(grounding)하는 text-to-SQL 시스템 능력을 평가하도록 설계했다. 각 과제에는 어떤 과거 쿼리에 관련 지식이 담겨 있는지, 어떤 SQL 절이 그 지식을 인코딩하는지를 지정하는 정답 레이블이 주석으로 달려 있어, 검색 효과와 지식 활용을 체계적으로 평가할 수 있다. 벤치마크와 함께 우리는 과거 SQL 스크립트에서 다섯 가지 유형의 외부 지식을 추출한 뒤, 쿼리 생성을 위해 관련 조각을 검색·재순위화하는 플러그인 검색기를 제안한다. 이 검색기는 프롬프트 수정 없이 기존 퓨샷(few-shot) text-to-SQL 파이프라인에 원활히 통합된다. 실험은 네 가지 text-to-SQL 시스템에서 일관된 개선을 보여 주며, 명시가 부족한 질의 처리에 과거 쿼리 로그를 활용하는 가치를 부각한다. 데이터셋과 코드는 https://github.com/zjuidg/BIRD-History 에서 오픈소스로 공개한다.
원문 초록
While recent Large Language Model (LLM)-based text-to-SQL systems achieve impressive performance on standard benchmarks, they struggle when user queries implicitly rely on domain-specific knowledge, such as business logic, data conventions, and analytical practices, that is neither captured by the schema nor explicitly stated in the natural language question. Historical SQL query logs offer a valuable source of such knowledge, yet existing benchmarks do not adequately support evaluation of history-driven approaches. To address this gap, we introduce BIRD-History, a benchmark consisting of 1,393 tasks across 11 databases, designed to evaluate text-to-SQL systems' ability to ground underspecified natural language questions using historical SQL scripts. Each task is annotated with ground-truth labels specifying which historical queries contain relevant knowledge and which SQL clauses encode it, enabling systematic evaluation of both retrieval effectiveness and knowledge utilization. Alongside the benchmark, we propose a plug-in retriever that extracts five types of external knowledge from historical SQL scripts, then retrieves and reranks relevant fragments for query generation. The retriever integrates seamlessly into existing few-shot text-to-SQL pipelines without requiring prompt modifications. Experiments demonstrate consistent improvements across four text-to-SQL systems, highlighting the value of leveraging historical query logs for handling underspecified queries. Dataset and code are open-sourced on https://github.com/zjuidg/BIRD-History.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.29345v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.