PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03524v1cs.AI

벤치마크에서 프로덕션까지: 복잡한 금융 데이터를 위한 Text-to-SQL 시스템

From Benchmarks to Production: A Text-to-SQL System for Complex Financial Data

범용 Text-to-SQL 시스템은 스키마가 비교적 얕고 열 값이 사람이 읽을 수 있는 경우가 많은 Spider 및 BIRD와 같은 학술 벤치마크(benchmark)에서 강력한 성능을 달성합니다. 하지만 개념이 사람이 읽을 수 있는 문자열 대신 불투명한 정수 키로 저장되는 프로덕션 금융 데이터베이스에서는 간단한 쿼리조차 여러 번의 조인(join)이 필요하고 필터 조건식이 불투명한 ID를 참조하기 때문에 이러한 방법들의 성능은 50% 미만으로 떨어집니다. 본 논문에서는 세 가지 핵심 구성요소를 통해 이러한 격차를 좁히는 도메인 특화 Text-to-SQL 시스템인 FLINT(Financial LINking Text-to-SQL)를 제시합니다: (1) 자연어 개념을 질문별 참조 테이블 제약 조건으로 동적으로 해결하는 룩업 에이전트(agent), (2) 전문가가 작성한 간결한 뱅크로부터 구조적으로 유사한 쿼리 템플릿을 임베딩(embedding) 기반으로 검색하는 기능, (3) 이름 유사성에만 의존하지 않고 외래 키(foreign-key) 체인을 탐색하여 대규모 테이블 스키마를 관련 하위 집합으로 정리하는 스키마 링킹. 프로덕션 금융 스키마에 대한 총 359개 질문으로 구성된 두 개의 데이터셋(dataset)에서 이를 평가합니다. FLINT는 동일한 대규모 언어 모델(LLM)을 사용하면서 다양한 최신 베이스라인(baseline)보다 뛰어난 성능을 보입니다. 이 시스템은 금융 데이터 검색 서비스의 일부로 프로덕션에 배포되었습니다.

arXiv:2607.22624v1cs.AI

CHS-SQL: 신뢰도 기반 휴리스틱 탐색 스키마 연결 프로세스를 활용한 Text-to-SQL 접근법

CHS-SQL: A Text-to-SQL approach based on Confidence-Guided Heuristic Search Schema Linking process

최근 Text-to-SQL 분야에서는 소형 언어 모델(SLM)을 학습에 활용하는 여러 연구가 있었다. 이러한 접근법은 단일 NVIDIA RTX 4090 GPU의 연산 자원만으로 SQL 생성에서 대형 모델에 근접한 성능을 달성하면서 데이터 보안도 확보한다. 기존 대부분의 방법은 Text-to-SQL 정확도를 높이기 위해 스키마 연결(Schema Linking) 단계에서 중복 테이블과 열을 걸러낸다. 그러나 후보 스키마 부분집합을 선택할 때 정밀도-재현율 트레이드오프를 고려하지 않는다. 본 연구에서는 스키마 연결의 정밀도와 재현율이 모두 최종 SQL 정확도에 직접적인 영향을 미친다는 것을 확인했다. 따라서 Text-to-SQL 작업에서 SLM을 효율적으로 미세조정하기 위한 새로운 프레임워크인 CHS-SQL을 제안한다. 이 프레임워크는 정밀도와 재현율의 균형을 맞출 뿐만 아니라 Text-to-SQL 작업의 전반적인 성능도 향상시킨다. 핵심 혁신은 스키마 연결 단계에 있으며, 여기서 휴리스틱 탐색과 모델 내부 신뢰도를 결합하여 최적의 정밀도-재현율 트레이드오프를 달성한다. 이 정교한 메커니즘은 생성된 SQL 쿼리와 관련된 스키마 후보의 정밀도를 극대화하면서 무관한 노이즈를 억제한다. 동일한 전략은 SQL 생성 단계에도 적용되어 후보 쿼리를 정제하고 SLM이 지역 최적(local optimum)에 갇히는 것을 방지하는 데 도움을 준다. 본 방법은 SLM을 통해 Text-to-SQL 작업에서 최신 최고(state-of-the-art, SOTA) 성능을 달성한다.

arXiv:2607.13311v1cs.CL

올바른 테이블과 컬럼 찾기: SQL 스키마 검색을 위한 벤치마크 및 코퍼스 적응형 임베딩

Finding the Right Tables and Columns: A Benchmark and Corpus-Adaptive Embeddings for SQL Schema Retrieval

SQL 설정에서의 검색(Retrieval)은 대규모 SQL 문 모음에서 자연어 질문에 답하는 SQL 문을 찾는 작업으로 주로 연구되어 왔다. 그러나 규모가 커질수록 생성에 앞서 더 근본적인 검색 문제가 선행한다. 바로 스키마 검색(schema retrieval)으로, 모델의 컨텍스트 윈도우(context window)에 담기 훨씬 많은, 수천 개에 이를 수 있는 데이터베이스에서 질문에 필요한 테이블과 컬럼을 식별하는 것이다. 우리는 이 단계가 일급 평가(first-class evaluation)를 받을 자격이 있다고 주장한다. 이를 위해 Spider, BIRD, BEAVER 및 두 가지 LiveSQLBench 변형 등 다섯 개의 text-to-SQL 데이터셋을 테이블 및 컬럼 수준의 검색 작업으로 재구성하고, 두 가지 문서 표현 하에서 현실적이고 기업 규모의 스키마를 다루며, 기성 텍스트 및 코드 임베더(embedder)가 이 설정에 잘 전이되지 않음을 보인다. 그다음 코퍼스 적응형 미세조정(corpus-adaptive fine-tuning)을 제안한다. 목표 스키마 코퍼스에서 직접 자연어 쿼리를 합성하고, 입도(granularity) 인식 hard negative를 채굴하며, 305M-매개변수 임베더를 대조적으로 미세조정한다. 이 절차는 평균 재현율@10을 60.4에서 75.6으로(nDCG@10을 51.9에서 68.0으로) 끌어올려, 305M 모델을 10억 매개변수 미만에서 최강의 검색기로 만들고, 4–8B 매개변수의 최신(state-of-the-art) 임베더보다 한 자릿수 이상 크기가 작으면서도 경쟁력 있게 만든다. 동일한 방법은 8B 최신 임베더의 재현율@10을 77.8에서 78.4로 향상시켜 벤치마크 최고 결과와 일치하며, 적응이 백본에 독립적(backbone-agnostic)임을 시사한다. leave-one-corpus-out 실험과 누수 감사(leakage audit)는 이러한 성능 향상이 평가 데이터의 암기가 아니라 전이 가능한 스키마 검색 능력을 반영함을 보여준다. 우리의 결과는 스키마 링킹(schema linking)을 독립적인 검색 작업으로 확립하고, 경량의 라벨 없는(label-free) 코퍼스 적응을 기업 규모 배포를 위한 실용적 경로로 제시한다.

arXiv:2606.29733v1cs.CL

온프레미스 오픈 LLM은 Text-to-SQL에서 얼마나 멀리 갈 수 있는가? BIRD에서의 패밀리 간 크기 × 기법 프론티어

How Far Do On-Prem Open LLMs Get on Text-to-SQL? A Cross-Family Size x Technique Frontier on BIRD

클라우드 API로 데이터를 전송할 수 없는 조직들은 점점 더 다음과 같은 질문을 제기하고 있다: 모델이 온프레미스에서 오픈 웨이트로 실행되어야 할 때 Text-to-SQL의 성능은 얼마나 좋은가, 그리고 널리 사용되는 정확도 "레시피" 중 어떤 것이 연산 비용 대비 가치가 있는가? 우리는 BIRD 개발 분할(n=1534, 실행 정확도(Execution Accuracy))에 대해 정직하고 완전히 재현 가능한 벤치마크로 이에 답한다. 두 세대에 걸친 세 가지 오픈 모델 패밀리—Qwen2.5-Coder (7B/14B/32B), CodeLlama-Instruct (7B/13B/34B), Llama-3.x (8B, 70B)—를 동일한 프로토콜 하에 평가하고, 모델 비의존적 레시피(스키마 링킹, 자기수정(self-correction), 자기일관성(self-consistency)) 구성 요소를 하나씩 제거하며, 모든 차이는 대응 McNemar 검정으로 검증했다. 네 가지 주요 발견이 두드러진다. (i) 세대가 단순한 크기보다 더 중요하며, 레시피는 패밀리에 걸쳐 강건하다: Qwen2.5-Coder는 동일 크기에서 구세대 CodeLlama를 압도하지만(7B에서 39.1 대 20.9), 현대적인 비Qwen 모델(Llama-3.3-70B, 동일 서빙 조건에서 49.2)은 경쟁력이 있으므로, CodeLlama의 약점은 2023년 세대를 반영하는 것이지 "비Qwen = 약함"을 의미하지 않는다. (ii) 자기수정은 강건하고 거의 비용 없는 성능 향상으로, 개선 여지가 있는 세 패밀리 모두에서 유의미하다. (iii) 스키마 링킹은 도움이 되지 않으며, 더 강력한 링커도 이를 구제하지 못한다: 골드 테이블 재현율 96.5%의 검색/임베딩 링커는 링킹을 사용하지 않는 것과 통계적으로 구분할 수 없어, 세 패밀리 모두에서 "약한 어휘 허수아비" 반론을 배제한다. (iv) 자기일관성은 가성비가 낮다(~5배 토큰 대비 +0.13 pp, 유의미하지 않음). 실제 단계별 비용(쿼리 1,000건당 달러)을 보고하고, 모든 코드, 예측 결과, 요약을 공개한다; 보관된 코드 및 데이터: https://doi.org/10.5281/zenodo.20952794

arXiv:2606.28601v1cs.DB

Database Context Compression for Text-to-SQL on Real-World Large Databases

Recent progress in Text-to-SQL has been driven by stronger language models and prompting strategies, yet performance on real enterprise benchmarks such as Spider 2.0 and BIRD remains far below that on classical academic datasets. We argue that the main bottleneck is no longer reasoning, but database representation. Real databases contain repeated audit columns, large groups of similar tables, opaque identifiers whose meanings are stored only in documentation, and extensive data dictionaries with little query-relevant information. Existing query-aware methods, including schema linking and retrieval-based schema selection, filter this raw context but still operate on redundant and verbose representations. We reformulate the problem as database context compression, a query-agnostic transformation that rewrites schemas, semantic descriptions, and external documentation into a compact representation. We formalize this transformation with the SGCF (Support-Gain Component Factorization) principle, which unifies repeated column extraction, isomorphic table templating, semantic componentization, and evidence purification under a single coverage objective. Based on SGCF, we propose DBCC, a database-side middleware that performs offline structural and semantic compression together with lightweight online evidence purification. DBCC is model-agnostic and can be integrated into existing Text-to-SQL pipelines. On Spider 2.0-Snow and BIRD, DBCC reduces input context by up to two orders of magnitude (from 2.6M to 34.7K tokens on the largest Spider 2.0-Snow subset), improves schema-linking strict recall from 0% to 56.5% under DeepSeek-V3.2 (63.1% under Claude Opus 4.7), and consistently increases end-to-end execution accuracy by 1.8-1.9% over three recent Text-to-SQL systems. Our code is open-sourced at https://github.com/MrBlankness/SchemaCompression.

arXiv:2606.11424v1cs.CL

SOMA-SQL: 합성 로그와 실행 프로빙을 통한 NL-to-SQL의 다중 소스 모호성 해소

SOMA-SQL: Resolving Multi-Source Ambiguity in NL-to-SQL via Synthetic Log and Execution Probing

데이터베이스 자연어 인터페이스는 사용자 질문을 실행 가능한 SQL로 변환하는 것을 목표로 하지만, 질문이 불충분하고 스키마가 크고 모호한 실제 환경에서는 여전히 취약합니다. 사용자 질문, 데이터베이스 스키마, 모델 해석에 걸친 모호성은 NL2SQL의 주요 실패 요인으로, 의도 불일치, 잘못된 스키마 그라운딩, 잘못된 SQL 생성으로 이어집니다. 기존 접근 방식은 인간의 명확화에 의존하거나 모호성을 스키마 표현 문제로 취급하지만, 이는 확장되지 않으며 모호성을 자율적으로 해결하지 못합니다. 우리는 타겟팅된 합성 쿼리 로그와 모호성 기반 프로빙을 통해 모호성을 자동으로 해결하는 SOMA-SQL을 제안합니다. SOMA-SQL은 스키마 해석을 그라운딩하고 후보 SQL 생성을 안내하기 위해 합성 쿼리 로그를 구축합니다. 그 후 구조화된 모호성 분류 체계와 후보 불일치에 의해 주도되는 타겟팅된 프로빙 쿼리를 실행하여, 최종 SQL 선택 및 수정을 위한 모호성 해소 증거를 생성합니다. 이러한 모호성 발견 및 해결에 대한 능동적인 접근 방식은 인간 개입 없이 보이지 않는 스키마와 쿼리 분포에 걸쳐 일반화됩니다. 6개의 공개 벤치마크에 대한 실험 결과, SOMA-SQL은 최첨단 기준 모델 대비 평균 13.0%의 실행 정확도를 향상시켰으며, 모호한 질문에서는 최대 16.7%의 향상을 보였습니다.