arXiv:2610.02679v1 cs.AI

DataWeave: 탐색적 정형 데이터 분석을 위한 인간-LLM 협업 분석 시스템 배포

DataWeave: Deploying Human-LLM Analytics for Exploratory Structured Data Analysis

Raquib Bin Yousuf, Harith Laxman, Vitaliy Shkremetko, Eunice Son, Shambhavi Verma, Brian O'Leary, Venketesh Subramony, Sylvain Nazef, Jacquelyn Elias, Ron Coddington, Chris Contakes, Michael Riley, Naren Ramakrishnan

제출 2026-10-02

한국어 초록

데이터 분석을 활용해 뉴스 가치가 있는 기사를 발굴하는 실무인 데이터 저널리즘은 트렌드, 격차, 책임 규명 서사를 밝혀내는 기자와 탐사보도 저널리스트의 역량에 점점 더 크게 의존하고 있습니다. 실제로 대규모 정형 데이터셋을 탐색하는 작업은 여전히 느리고 불안정합니다. 저널리스트는 가설이 발전하는 동안 수년에 걸친 여러 데이터셋의 수백 개 변수를 탐색하고, 데이터 코딩 규칙을 이해하며, 복잡한 분석 코드를 작성해야 합니다. 비록 대규모 언어 모델(LLM)이 '자연어로 질문하고 SQL/답변을 얻는' 도구로 자주 홍보되지만, 실제 뉴스룸 워크플로에서는 스키마 불일치 및 변화, 도메인 의미와 단위의 오독, 묵시적 가정 등 반복적인 실패가 드러납니다. 본 논문에서는 대화형 상호작용, 스키마 그라운딩(schema grounding), 분석적 계획 수립, 실행 가능한 쿼리 생성을 결합하여 정형 데이터에 대한 탐색적 분석을 지원함으로써 이러한 요구를 해결하는 시스템인 DataWeave를 제시합니다. DataWeave는 LLM을 자율적인 답변 엔진으로 취급하기보다는, 가설이 바뀜에 따라 출력을 검사하고 수정하며 유도할 수 있는 대화형 파트너로 규정합니다. 복잡한 도메인 의미와 잦은 스키마 변경이 수반되는 중대한 공공 데이터셋인 미국 교육부의 종합 고등교육 데이터 시스템(IPEDS)을 전문 저널리스트들이 본 시스템을 사용해 분석한 사례 연구를 제시합니다. 또한 실제 배포 경험과 반복적인 개선 과정이 현재의 DataWeave 아키텍처와 분석 워크플로를 어떻게 형성했는지 보고합니다. 본 연구 결과는 정형 데이터 분석에서 신뢰할 수 있는 인간-LLM 협업을 위한 설계 원칙과 배포 교훈을 도출합니다.

원문 초록

Data journalism, the practice of using data analysis to surface newsworthy stories, depends increasingly on the ability of reporters and investigative journalists to uncover trends, disparities, and accountability narratives. In practice, exploring large structured datasets remains slow and brittle: journalists must navigate hundreds of variables across many datasets over years, understand data coding conventions, and write non-trivial analysis code while hypotheses evolve. Although LLMs are often touted as "ask in English, get SQL/answers," real newsroom workflows expose recurring failures, e.g., schema mismatches and drift, misread domain semantics and units, and silent assumptions. We present DataWeave, a system that addresses these needs by combining conversational interaction, schema grounding, analytical planning, and executable query generation to support exploratory analysis over structured data. Rather than treating LLMs as autonomous answer engines, DataWeave frames them as interactive partners whose outputs can be inspected, corrected, and steered as hypotheses shift. We present a case study with professional journalists using our system to analyze the U.S. Department of Education's Integrated Postsecondary Education Data System (IPEDS), a high-stakes public dataset with substantial domain semantics and frequent schema updates. We also report how deployment experience and iterative refinement shaped the current DataWeave architecture and its analytical workflow. Our findings distill design principles and deployment lessons for trustworthy human-LLM collaboration in structured data analysis.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02679v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10639v1cs.LG공통 태그 Code Generation, Text-To-SQL

가시적 추론은 보편적인 옵티마이저가 아니다: 분석 코드 생성에서 페르소나 및 사고 의존적 효과

Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation

가시적 사고의 연쇄(Visible Chain-of-Thought, CoT)는 흔히 광범위하게 유용한 추론 지침으로 취급되지만, 분석 코드 생성은 자연어의 모호성, 스키마 그라운딩(schema grounding), 대상 언어 제약 조건, 그리고 모델 고유의 추론(inference) 동작을 결합합니다. 동일한 분석 요청을 SQL과 Python(pandas)이라는 두 개의 서로 다른 대상 언어로 표현할 수 있기 때문에, 이 설정은 널리 퍼져 있으면서도 충분히 검증되지 않은 일반적인 가정을 자연스럽게 테스트할 수 있는 환경을 제공합니다. 즉, "SQL로 생각하라" 또는 "Python으로 생각하라"와 같이 가시적 추론 표현이 요청된 대상 언어와 일치할 때 더 효과적이라는 가정입니다. "단계별로 생각하라(think step-by-step)"와 같은 일반적인 지침과 함께 이러한 권장 사항들은 통제된 실행 기반 비교 환경에서 여전히 충분히 평가되지 않은 상태로 남아 있습니다. 본 연구에서는 페르소나 문구, 대상 언어, 가시적 CoT 형식, 제어 접두사, 직접 생성 및 내부 추론 구성을 교차 적용한 쿼리 매칭 SQL-pandas 벤치마크를 조사합니다. 연구 결과는 가시적 CoT를 통한 보편적인 정확도 향상이나 추론 표현을 대상 언어와 일치시키는 데서 오는 일관된 이점을 지지하지 않습니다. 대신 그 효과는 페르소나, 대상 언어, 모델 구성 및 내부 추론 설정에 따라 달라집니다. 또한 제어 절제 연구(control ablations)는 추론 내용의 효과와 프롬프트(prompt) 형식의 효과를 추가로 구분합니다. 이러한 발견은 추론 전략을 보편적인 기본값으로 채택하기보다는 모델, 페르소나, 대상 언어 및 내부 추론 구성을 종합적으로 고려하여 선택해야 함을 시사합니다. 더 나아가 본 연구는 가시적 추론이 실행 가능한 코드 생성을 개선하는 시점, 단순히 모델 동작을 교란하는 시점, 그리고 내부 추론 구성이 더 결정적인 요인이 되는 시점을 식별할 수 있는 통제된 프레임워크를 제공합니다.

arXiv:2608.10137v2cs.CL공통 태그 Code Generation, Text-To-SQL

파서는 이미 알고 있다: 제약된 디코딩에서의 경량 바이어스 보정

The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding

문법 제약 디코딩(GCD)은 매 단계에서 규칙을 따르지 않는 토큰을 마스킹하여 언어 모델(LM)이 구문론적으로 유효한 출력을 생성하도록 강제합니다. 그러나 마스킹은 현재까지 각 토큰이 유효한지만 확인할 뿐이므로, 완성된 출력에 대한 결과 분포는 문법을 조건으로 하는 LM 자체의 분포와 달라져 유효하지만 최적은 아닌 출력 쪽으로 생성을 편향(bias)시킵니다. 온라인 샘플링을 통해 이러한 분포를 복원할 수 있지만 비용이 많이 드는 반복적 재샘플링을 거쳐야만 합니다. 본 연구의 핵심 통찰은 GCD 도구가 이미 유지하고 있는 파서 및 렉서 상태가 향후의 문법적 유효성에 대한 강력한 신호를 지니고 있다는 점입니다. 본 논문에서는 이러한 구문 및 어휘 상태와 후보 다음 토큰들을 조건으로 하여 LM의 다음 토큰 확률을 보정하는 경량 오프라인 학습 방식인 SHIM을 소개합니다. GCD 도구가 이미 이러한 상태를 계산하므로 SHIM은 LM 자체를 수정하지 않고 그대로 유지합니다. 비트 벡터 및 text-to-SQL 문법 전반에서 이 보정 방식은 마스킹 속도에 가깝게 작동하면서도, 마스킹 및 온라인 샘플링에 비해 LM의 문법 조건부 분포와의 격차를 실질적으로 좁힙니다. 다음 토큰만 확인하는 변형 모델조차도 두 베이스라인 모두를 개선할 수 있어, 파서 상태를 노출하지 않는 GCD 도구에서도 SHIM을 활용할 수 있습니다.

arXiv:2610.03524v1cs.AI공통 태그 Code Generation, Text-To-SQL

벤치마크에서 프로덕션까지: 복잡한 금융 데이터를 위한 Text-to-SQL 시스템

From Benchmarks to Production: A Text-to-SQL System for Complex Financial Data

범용 Text-to-SQL 시스템은 스키마가 비교적 얕고 열 값이 사람이 읽을 수 있는 경우가 많은 Spider 및 BIRD와 같은 학술 벤치마크(benchmark)에서 강력한 성능을 달성합니다. 하지만 개념이 사람이 읽을 수 있는 문자열 대신 불투명한 정수 키로 저장되는 프로덕션 금융 데이터베이스에서는 간단한 쿼리조차 여러 번의 조인(join)이 필요하고 필터 조건식이 불투명한 ID를 참조하기 때문에 이러한 방법들의 성능은 50% 미만으로 떨어집니다. 본 논문에서는 세 가지 핵심 구성요소를 통해 이러한 격차를 좁히는 도메인 특화 Text-to-SQL 시스템인 FLINT(Financial LINking Text-to-SQL)를 제시합니다: (1) 자연어 개념을 질문별 참조 테이블 제약 조건으로 동적으로 해결하는 룩업 에이전트(agent), (2) 전문가가 작성한 간결한 뱅크로부터 구조적으로 유사한 쿼리 템플릿을 임베딩(embedding) 기반으로 검색하는 기능, (3) 이름 유사성에만 의존하지 않고 외래 키(foreign-key) 체인을 탐색하여 대규모 테이블 스키마를 관련 하위 집합으로 정리하는 스키마 링킹. 프로덕션 금융 스키마에 대한 총 359개 질문으로 구성된 두 개의 데이터셋(dataset)에서 이를 평가합니다. FLINT는 동일한 대규모 언어 모델(LLM)을 사용하면서 다양한 최신 베이스라인(baseline)보다 뛰어난 성능을 보입니다. 이 시스템은 금융 데이터 검색 서비스의 일부로 프로덕션에 배포되었습니다.

arXiv:2607.22622v1cs.CL공통 태그 Code Generation, Text-To-SQL

SFT와 DPO를 통한 Text-to-SQL에서 언제 추론할지 학습

Learning When to Reason for Text-to-SQL via SFT and DPO

최근 Text-to-SQL 방법들은 사고의 연쇄(Chain-of-Thought, CoT)와 같은 추론 중심 패러다임에 크게 의존하며, 복잡한 벤치마크에서 상당한 성능 향상을 달성하지만 높은 추론 시간 오버헤드라는 대가를 치른다. 그러나 실제 쿼리의 상당 부분은 다단계 추론 없이 해결할 수 있는 단순 조회나 집계이므로, 강제된 추론은 낭비가 된다. 따라서 우리는 Text-to-SQL에 지도 미세조정(SFT)과 직접 선호 최적화(DPO) 모두에 자동 사고(auto-thinking) 메커니즘을 통합하는 프레임워크인 AutoThinkSQL을 제안한다. 우리 접근법은 모델이 단순 쿼리에 대해서는 추론을 동적으로 우회하고, 복잡한 쿼리에 대해서는 깊은 CoT를 호출할 수 있게 한다. Qwen3-Coder-30B-A3B에서 우리 방법은 Spider와 BIRD 벤치마크 모두에서 최고 대응 기준선과 비교해 일관된 성능 향상을 달성하는 동시에, CoT 전용 생성과 비교해 평균 출력 토큰을 각각 24.6%와 18.3% 줄이고, 평균 지연 시간을 17.1%와 11.5% 줄인다. 추가 분석에 따르면, 모델은 추론 결정을 쿼리 난이도와 정렬하는 법을 학습한다.

arXiv:2607.22624v1cs.AI공통 태그 Code Generation, Text-To-SQL

CHS-SQL: 신뢰도 기반 휴리스틱 탐색 스키마 연결 프로세스를 활용한 Text-to-SQL 접근법

CHS-SQL: A Text-to-SQL approach based on Confidence-Guided Heuristic Search Schema Linking process

최근 Text-to-SQL 분야에서는 소형 언어 모델(SLM)을 학습에 활용하는 여러 연구가 있었다. 이러한 접근법은 단일 NVIDIA RTX 4090 GPU의 연산 자원만으로 SQL 생성에서 대형 모델에 근접한 성능을 달성하면서 데이터 보안도 확보한다. 기존 대부분의 방법은 Text-to-SQL 정확도를 높이기 위해 스키마 연결(Schema Linking) 단계에서 중복 테이블과 열을 걸러낸다. 그러나 후보 스키마 부분집합을 선택할 때 정밀도-재현율 트레이드오프를 고려하지 않는다. 본 연구에서는 스키마 연결의 정밀도와 재현율이 모두 최종 SQL 정확도에 직접적인 영향을 미친다는 것을 확인했다. 따라서 Text-to-SQL 작업에서 SLM을 효율적으로 미세조정하기 위한 새로운 프레임워크인 CHS-SQL을 제안한다. 이 프레임워크는 정밀도와 재현율의 균형을 맞출 뿐만 아니라 Text-to-SQL 작업의 전반적인 성능도 향상시킨다. 핵심 혁신은 스키마 연결 단계에 있으며, 여기서 휴리스틱 탐색과 모델 내부 신뢰도를 결합하여 최적의 정밀도-재현율 트레이드오프를 달성한다. 이 정교한 메커니즘은 생성된 SQL 쿼리와 관련된 스키마 후보의 정밀도를 극대화하면서 무관한 노이즈를 억제한다. 동일한 전략은 SQL 생성 단계에도 적용되어 후보 쿼리를 정제하고 SLM이 지역 최적(local optimum)에 갇히는 것을 방지하는 데 도움을 준다. 본 방법은 SLM을 통해 Text-to-SQL 작업에서 최신 최고(state-of-the-art, SOTA) 성능을 달성한다.

arXiv:2607.22115v1cs.DB공통 태그 Code Generation, Text-To-SQL

역할 기반 접근 제어(RBAC) 하에서 Text-to-SQL 벤치마킹

Benchmarking Text-to-SQL under Role-Based Access Control

데이터베이스 S와 자연어 질문 Q가 주어졌을 때, text-to-SQL 시스템은 S에 대해 실행했을 때 Q에 올바르게 답하는 SQL 쿼리를 생성하는 것을 목표로 한다. 현재 인기 있는 text-to-SQL 벤치마크는 대부분 S에 대한 무제한 접근을 가정한다. 그러나 실제로는 사용자 접근이 종종 제한되며, 예를 들어 역할 기반 접근 제어(RBAC) 정책을 통해 제한된다. 이는 벤치마킹 결과와 실제 성능 사이에 잠재적인 괴리를 초래한다. 높은 벤치마크 점수를 가진 LLM이라도 접근 제어 환경에서는 RBAC를 자주 위반하거나, S에서 허용된 데이터만으로 답할 수 있는 쿼리 q를 거부함으로써 성능이 저조할 수 있다. 이에 영감을 받아, 현실적인 RBAC 제약을 포함한 포괄적인 text-to-SQL 벤치마킹 프레임워크를 제안한다. 이 프레임워크는 LLM 보조 워크플로를 특징으로 하며, 기존 text-to-SQL 벤치마크에 그럴듯한 사용자 역할과 접근 정책을 추가한다. 이를 위해 역할 합성(role synthesis) 문제를 데이터베이스 스키마에 대한 구조화된 추론 과정으로 공식화한다. 이 과정에서 LLM은 먼저 스키마로부터 애플리케이션 컨텍스트를 추론하고, 그다음 이 컨텍스트와 일관된 역할 책임과 접근 범위를 도출한다. 이 과정은 human-in-the-loop 품질 관리를 통해 검증되며, 도메인 전문가가 생성된 역할에 대해 메트릭 기반 스크리닝을 수행한다. 증강된 데이터셋 외에도, 제안된 프레임워크는 RBAC 특화 실패 모드를 식별하고 SQL 유용성과 접근 제어 준수를 분리하는 평가 지표를 포함한다. 제안된 프레임워크를 여러 널리 사용되는 벤치마크에 적용하고, 최신 text-to-SQL 시스템에 대한 체계적인 실증 연구를 수행한다. 결과는 무제한 설정에서 높은 벤치마킹 점수를 보이는 많은 솔루션(특히 오픈 가중치 LLM)이 접근 제약이 적용되면 RBAC 위반이 빈번하여 성능이 급격히 저하됨을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.