arXiv:2610.09396v1 cs.CL

ARCS: 구조화된 모호성 해소를 통한 정밀한 Text-to-SQL 구현

ARCS: Towards Precise Text-to-SQL via Structured Disambiguation

Yihao Hu, Yanlin Feng, Naoki Otani, Nikita Bhutani

제출 2026-10-07

한국어 초록

Text-to-SQL 시스템이 단순 시연을 넘어 실제 환경에 배포되는 단계로 나아감에 따라, 사용자 질문에 내재된 모호성이 오류의 주요 원인이 되고 있습니다. 이러한 모호성은 종종 미묘하고 도메인 또는 데이터에 특화되어 있어, 시스템 출력이 사용자의 실제 의도에서 은밀하게 벗어나도록 만들 수 있습니다. 모호성은 전통적으로 대화형 명확화(conversational clarification)를 통해 해결되어 왔으나, 이는 비효율적이고 인지적 부담이 크며 실제 사용자 워크플로와 잘 부합하지 않는 경우가 많습니다. 본 논문에서는 자유 형식 대화 대신 명시적이고 제약된 상호작용을 통해 모호성을 해결하는 새로운 패러다임인 구조화된 모호성 해소(structured disambiguation)를 제안합니다. 또한 실제 데이터베이스를 기반으로 자연스럽게 발생하는 무제약적 모호성을 다루며, 유효한 모든 모호성 지점, 해석 및 SQL 쿼리에 대한 완전한 주석을 포함하는 최초의 Text-to-SQL 벤치마크인 ARCS(Ambiguity Resolution Corpus for SQL)를 구축합니다. 실험 결과에 따르면 모호성이 존재하는 상황에서 Text-to-SQL은 여전히 난제로 남아 있으며, gpt-6-sol은 단 51%의 엔드투엔드 실행 정확도만을 달성했고 어떤 오픈소스 모델도 27%를 넘지 못했습니다.

원문 초록

As text-to-SQL systems move beyond demonstrations toward real-world deployment, ambiguity in user questions becomes a primary source of errors. Such ambiguities are often subtle, domain- or data-specific, and can silently cause system outputs to deviate from the user's true intent. Ambiguity is traditionally addressed through conversational clarification, which is often inefficient, cognitively demanding, and poorly aligned with real-world user workflows. We propose structured disambiguation, a new paradigm in which ambiguity is resolved through explicit, constrained interactions rather than free-form dialogue. We construct ARCS (Ambiguity Resolution Corpus for SQL), the first text-to-SQL benchmark featuring naturally occurring, unconstrained ambiguities over real-world databases, with complete annotations of all valid ambiguity points, interpretations, and SQL queries. Experimental results show that text-to-SQL remains challenging in the presence of ambiguity: gpt-6-sol achieves only 51% end-to-end execution accuracy, and no open-source model exceeds 27%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.09396v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.