BudgetSchemaBench: Text-to-SQL의 스키마 컨텍스트를 위한 예산 탐색 진단 벤치마크
BudgetSchemaBench: A Budget-Swept Diagnostic for Schema Context in Text-to-SQL
한국어 초록
구조화된 데이터 소스를 다루는 데이터 에이전트(agent)는 데이터베이스 스키마를 모델의 컨텍스트 윈도우(context window)에 맞춰 넣어야 합니다. 대규모 카탈로그는 여러 데이터베이스와 수천 개의 열에 걸쳐 있을 수 있으므로, 비용 제약으로 인해 컨텍스트 윈도우가 가득 차기 훨씬 전부터 테이블 커버리지와 직렬화 상세도 사이에서 선택을 내려야 할 수 있습니다. 우리는 이러한 설정을 위한 실행 기반(execution-grounded) 진단 도구인 BudgetSchemaBench를 소개합니다. 이 벤치마크의 구성은 인간이나 대규모 언어 모델(LLM)이 작성한 정답 레이블 없이, 정답(gold) SQL로부터 관련성 레이블을 기계적으로 도출합니다. 80개 데이터베이스를 통합한 카탈로그를 사용하여, 각 리트리버의 테이블 순위를 고정한 상태에서 4가지 스키마 컨텍스트 예산을 탐색하고 3가지 표현 방식을 비교합니다. 소스 네임스페이스 검사를 통해 잘못된 데이터베이스에서 올바른 결과를 얻어낸 쿼리를 제외합니다. 평가는 엔드투엔드(end-to-end) 검색, 필요한 테이블이 보장되는 frozen-gold, 그리고 해당 테이블들을 제거하는 프로브의 세 가지 조건에서 수행됩니다. 원시 직렬화를 사용하는 주요 솔버의 경우, 예산을 카탈로그의 2.5%에서 50%로 늘렸을 때 1,279개의 홀드아웃 질문에 대한 실행 정확도가 어휘 검색(lexical retrieval) 하에서는 18%p 향상되지만 밀집 검색(dense retrieval) 하에서는 3%p 향상에 그칩니다. 이는 밀집 리트리버가 가장 적은 예산에서도 이미 대부분의 필수 테이블을 찾아내기 때문입니다. 필수 테이블이 제거되었을 때 정답 예측의 94.6%가 그중 하나를 정확히 지목했는데, 이는 매개변수 지식(parametric knowledge)으로부터 부재한 스키마를 재구성한 것과 일치합니다. frozen-gold 조건의 두 주요 솔버에서는 세 가지 표현 방식 간 차이가 최대 2%p에 불과하며, 가장 넓은 대응 쌍 95% 신뢰 구간에서도 차이가 ±4%p 이내로 제한됩니다. 우리는 다른 계열의 추론 모델 하나에서도 동일한 정성적 패턴을 관찰했습니다. 검색이 커버리지에 의해 제한될 때, 실행 정확도는 테스트된 직렬화 방식보다 스키마 예산에 더 민감합니다. 본 진단 도구와 이를 구축 및 평가하는 데 사용된 코드는 공개되어 있습니다.
원문 초록
Data agents over structured sources must fit database schema into the model's context window. Large catalogs can span many databases and thousands of columns, so cost constraints may require choosing between table coverage and serialization detail well before the context window is full. We introduce BudgetSchemaBench, an execution-grounded diagnostic for this setting. Its construction derives relevance labels mechanically from gold SQL, without human- or LLM-authored ground truth. Using a pooled 80-database catalog, we sweep four schema-context budgets and compare three representations while keeping each retriever's table ranking fixed. A source-namespace check rejects queries that obtain the correct result from the wrong database. The evaluation covers three conditions: end-to-end retrieval; frozen-gold, in which the required tables are guaranteed; and a probe that removes those tables. For the primary solver with raw serialization, raising the budget from 2.5% to 50% of the catalog improves execution accuracy on 1,279 held-out questions by 18 percentage points under lexical retrieval but only 3 under dense retrieval; the dense retriever already finds most required tables at the smallest budget. When the required tables are removed, 94.6% of correct predictions name one of them exactly, consistent with reconstruction of absent schema from parametric knowledge. For the two main solvers in the frozen-gold condition, the three representations differ by at most 2 percentage points, and the widest paired 95% confidence interval bounds the difference within +/-4 points. We observe the same qualitative patterns with one reasoning model from a different family. When retrieval is coverage-limited, execution accuracy is more sensitive to the schema budget than to the tested serializations. The diagnostic and the code used to construct and evaluate it are publicly available.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.