벤치마크에서 프로덕션까지: 복잡한 금융 데이터를 위한 Text-to-SQL 시스템
From Benchmarks to Production: A Text-to-SQL System for Complex Financial Data
한국어 초록
범용 Text-to-SQL 시스템은 스키마가 비교적 얕고 열 값이 사람이 읽을 수 있는 경우가 많은 Spider 및 BIRD와 같은 학술 벤치마크(benchmark)에서 강력한 성능을 달성합니다. 하지만 개념이 사람이 읽을 수 있는 문자열 대신 불투명한 정수 키로 저장되는 프로덕션 금융 데이터베이스에서는 간단한 쿼리조차 여러 번의 조인(join)이 필요하고 필터 조건식이 불투명한 ID를 참조하기 때문에 이러한 방법들의 성능은 50% 미만으로 떨어집니다. 본 논문에서는 세 가지 핵심 구성요소를 통해 이러한 격차를 좁히는 도메인 특화 Text-to-SQL 시스템인 FLINT(Financial LINking Text-to-SQL)를 제시합니다: (1) 자연어 개념을 질문별 참조 테이블 제약 조건으로 동적으로 해결하는 룩업 에이전트(agent), (2) 전문가가 작성한 간결한 뱅크로부터 구조적으로 유사한 쿼리 템플릿을 임베딩(embedding) 기반으로 검색하는 기능, (3) 이름 유사성에만 의존하지 않고 외래 키(foreign-key) 체인을 탐색하여 대규모 테이블 스키마를 관련 하위 집합으로 정리하는 스키마 링킹. 프로덕션 금융 스키마에 대한 총 359개 질문으로 구성된 두 개의 데이터셋(dataset)에서 이를 평가합니다. FLINT는 동일한 대규모 언어 모델(LLM)을 사용하면서 다양한 최신 베이스라인(baseline)보다 뛰어난 성능을 보입니다. 이 시스템은 금융 데이터 검색 서비스의 일부로 프로덕션에 배포되었습니다.
원문 초록
General-purpose Text-to-SQL systems achieve strong performance on academic benchmarks like Spider and BIRD, where schemas are relatively shallow and column values are often human readable. In production financial databases, where concepts are stored as opaque integer keys rather than human-readable strings, these methods fall below 50%, as even simple queries require multiple joins and filter predicates reference opaque IDs. We present Financial LINking Text-to-SQL (FLINT), a domain-specialized Text-to-SQL system that closes this gap through three key components: (1) a lookup agent that dynamically resolves natural-language concepts to question-specific reference table constraints, (2) embedding-based retrieval of structurally similar query templates from a compact, expert-authored bank, and (3) schema linking that prunes a large table schema to the relevant subset by traversing foreign-key chains, rather than relying on name similarity alone. We evaluate on two datasets totaling 359 questions over production financial schemas. FLINT outperforms various state-of-the-art baselines using the same LLM. The system is deployed in production as part of a financial data retrieval service.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MemTrace: 장기 코딩 에이전트를 위한 상태 일관적 메모리
MemTrace: State-Consistent Memory for Long-Horizon Coding Agents
코딩 에이전트(agent)가 여러 파일과 단계에 걸친 장기 소프트웨어 발전 작업을 수행함에 따라, 길어진 실행 궤적은 두 가지 연계된 문제를 야기합니다. (1) 누적된 이력으로 인해 컨텍스트 예산에 부담이 가중되고, (2) 저장소의 변경 사항으로 인해 이전 실행 근거의 유효성이 상실될 수 있습니다. 기존 접근 방식은 더 큰 컨텍스트 윈도우(context window), 압축, 검색 또는 저장소 표현과 같은 기법을 통해 이러한 문제를 해결하지만, 컨텍스트 갱신 후 일관된 작업 상태를 재구성하지 못하거나 회상된 근거가 여전히 유효한지 검증하지 못하는 경우가 많습니다. 이에 따라 본 논문에서는 실행 이력을 보존하고 변화하는 작업(예: 반복적인 파일 간 수정) 및 저장소 상태와 이력의 재사용을 정렬하는 출처 인식 메모리 시스템인 MemTrace를 제안합니다. MemTrace는 이력을 주요 정보(예: 파일, 심볼, 테스트)에 고정된 불변의 Memory Trace로 저장하며, 이들의 실행 순서와 의존성을 Memory Trace Graph로 구조화합니다. 컨텍스트가 제한될 때 작업 메모리는 컴팩트한 Memory Anchor만 유지하며, 에이전트는 이를 통해 최신 실행 상태를 재구성하고 다음 행동과 관련된 근거를 찾을 수 있습니다. 과거 근거를 복원하기 전에 MemTrace는 현재 저장소 상태에 대해 유효성을 검사하고 다음 행동에 필요한 정보만을 검색합니다. 세 가지 상호보완적인 장기 코딩 벤치마크(benchmark) 전반에서, MemTrace는 동일한 백본 및 하네스 조건 하에 완전히 평가된 모든 베이스라인을 일관되게 능가하여 Codex CLI 환경에서 DeepSWE pass@1을 21.2포인트, SWE-EVO 해결률(Resolved Rate)을 4.4포인트, SWE-Milestone 점수를 17.8포인트 향상시켰습니다.
가시적 추론은 보편적인 옵티마이저가 아니다: 분석 코드 생성에서 페르소나 및 사고 의존적 효과
Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation
가시적 사고의 연쇄(Visible Chain-of-Thought, CoT)는 흔히 광범위하게 유용한 추론 지침으로 취급되지만, 분석 코드 생성은 자연어의 모호성, 스키마 그라운딩(schema grounding), 대상 언어 제약 조건, 그리고 모델 고유의 추론(inference) 동작을 결합합니다. 동일한 분석 요청을 SQL과 Python(pandas)이라는 두 개의 서로 다른 대상 언어로 표현할 수 있기 때문에, 이 설정은 널리 퍼져 있으면서도 충분히 검증되지 않은 일반적인 가정을 자연스럽게 테스트할 수 있는 환경을 제공합니다. 즉, "SQL로 생각하라" 또는 "Python으로 생각하라"와 같이 가시적 추론 표현이 요청된 대상 언어와 일치할 때 더 효과적이라는 가정입니다. "단계별로 생각하라(think step-by-step)"와 같은 일반적인 지침과 함께 이러한 권장 사항들은 통제된 실행 기반 비교 환경에서 여전히 충분히 평가되지 않은 상태로 남아 있습니다. 본 연구에서는 페르소나 문구, 대상 언어, 가시적 CoT 형식, 제어 접두사, 직접 생성 및 내부 추론 구성을 교차 적용한 쿼리 매칭 SQL-pandas 벤치마크를 조사합니다. 연구 결과는 가시적 CoT를 통한 보편적인 정확도 향상이나 추론 표현을 대상 언어와 일치시키는 데서 오는 일관된 이점을 지지하지 않습니다. 대신 그 효과는 페르소나, 대상 언어, 모델 구성 및 내부 추론 설정에 따라 달라집니다. 또한 제어 절제 연구(control ablations)는 추론 내용의 효과와 프롬프트(prompt) 형식의 효과를 추가로 구분합니다. 이러한 발견은 추론 전략을 보편적인 기본값으로 채택하기보다는 모델, 페르소나, 대상 언어 및 내부 추론 구성을 종합적으로 고려하여 선택해야 함을 시사합니다. 더 나아가 본 연구는 가시적 추론이 실행 가능한 코드 생성을 개선하는 시점, 단순히 모델 동작을 교란하는 시점, 그리고 내부 추론 구성이 더 결정적인 요인이 되는 시점을 식별할 수 있는 통제된 프레임워크를 제공합니다.
파서는 이미 알고 있다: 제약된 디코딩에서의 경량 바이어스 보정
The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding
문법 제약 디코딩(GCD)은 매 단계에서 규칙을 따르지 않는 토큰을 마스킹하여 언어 모델(LM)이 구문론적으로 유효한 출력을 생성하도록 강제합니다. 그러나 마스킹은 현재까지 각 토큰이 유효한지만 확인할 뿐이므로, 완성된 출력에 대한 결과 분포는 문법을 조건으로 하는 LM 자체의 분포와 달라져 유효하지만 최적은 아닌 출력 쪽으로 생성을 편향(bias)시킵니다. 온라인 샘플링을 통해 이러한 분포를 복원할 수 있지만 비용이 많이 드는 반복적 재샘플링을 거쳐야만 합니다. 본 연구의 핵심 통찰은 GCD 도구가 이미 유지하고 있는 파서 및 렉서 상태가 향후의 문법적 유효성에 대한 강력한 신호를 지니고 있다는 점입니다. 본 논문에서는 이러한 구문 및 어휘 상태와 후보 다음 토큰들을 조건으로 하여 LM의 다음 토큰 확률을 보정하는 경량 오프라인 학습 방식인 SHIM을 소개합니다. GCD 도구가 이미 이러한 상태를 계산하므로 SHIM은 LM 자체를 수정하지 않고 그대로 유지합니다. 비트 벡터 및 text-to-SQL 문법 전반에서 이 보정 방식은 마스킹 속도에 가깝게 작동하면서도, 마스킹 및 온라인 샘플링에 비해 LM의 문법 조건부 분포와의 격차를 실질적으로 좁힙니다. 다음 토큰만 확인하는 변형 모델조차도 두 베이스라인 모두를 개선할 수 있어, 파서 상태를 노출하지 않는 GCD 도구에서도 SHIM을 활용할 수 있습니다.
합성하는 것인가, 기억해내는 것인가? 알고리즘 코드 검색에서 LLM 평가
Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval
대규모 언어 모델(LLM)은 코드 생성에서 강력한 성능을 입증해 왔으며, 여기서 성공 여부는 관련 알고리즘 지식을 상기(recall)하는 것과 이를 어떻게 적용할지 추론하는 것 모두에 달려 있습니다. 그러나 기존 LLM 파이프라인은 불투명하여 이 두 구성 요소 간의 명시적인 구분이 없습니다. 우리는 사전학습 말뭉치에서 정형화된 구현체를 쉽게 접할 수 있는 잘 알려진 알고리즘의 경우, 코드 생성을 새로운 알고리즘을 합성하는 것이 아니라 내재화된 지식으로부터 명명된 알고리즘을 재현하는 \textit{파라메트릭 코드 검색(parametric code retrieval)}으로 측정하는 것이 더 적절하다고 주장합니다. 우리는 이러한 능력을 독립적으로 평가하기 위해 14개 도메인, 7개 프로그래밍 언어, 4개 그래프 입력 표현에 걸쳐 77개의 고전 알고리즘을 다루는 599개 문제로 구성된 벤치마크인 AlgoREval을 도입하고, 제로샷(zero-shot) 설정에서 15개 모델(7B~34B 파라미터)을 평가합니다. 널리 문서화된 알고리즘에 대해서도 언어 및 입력 표현 전반에 걸쳐 검색 정확도에 상당한 편차가 있음을 발견했으며, 검색된 코드 스니펫이나 구조화된 알고리즘 힌트를 활용한 프롬프트 증강이 복잡한 알고리즘에서 정확도를 향상시키는 반면, SFT는 더 넓은 언어적 이득을 달성하고 GRPO는 특정 언어에서 더 큰 언어별 이득을 달성함을 보여줍니다. 종합적으로, 우리의 결과는 파라메트릭 코드 검색을 구별되고 측정 가능한 능력으로 확립하며, 체계적인 검증 없이 AI가 생성한 알고리즘 코드를 배포하는 것에 대해 주의를 당부합니다.
DataWeave: 탐색적 정형 데이터 분석을 위한 인간-LLM 협업 분석 시스템 배포
DataWeave: Deploying Human-LLM Analytics for Exploratory Structured Data Analysis
데이터 분석을 활용해 뉴스 가치가 있는 기사를 발굴하는 실무인 데이터 저널리즘은 트렌드, 격차, 책임 규명 서사를 밝혀내는 기자와 탐사보도 저널리스트의 역량에 점점 더 크게 의존하고 있습니다. 실제로 대규모 정형 데이터셋을 탐색하는 작업은 여전히 느리고 불안정합니다. 저널리스트는 가설이 발전하는 동안 수년에 걸친 여러 데이터셋의 수백 개 변수를 탐색하고, 데이터 코딩 규칙을 이해하며, 복잡한 분석 코드를 작성해야 합니다. 비록 대규모 언어 모델(LLM)이 '자연어로 질문하고 SQL/답변을 얻는' 도구로 자주 홍보되지만, 실제 뉴스룸 워크플로에서는 스키마 불일치 및 변화, 도메인 의미와 단위의 오독, 묵시적 가정 등 반복적인 실패가 드러납니다. 본 논문에서는 대화형 상호작용, 스키마 그라운딩(schema grounding), 분석적 계획 수립, 실행 가능한 쿼리 생성을 결합하여 정형 데이터에 대한 탐색적 분석을 지원함으로써 이러한 요구를 해결하는 시스템인 DataWeave를 제시합니다. DataWeave는 LLM을 자율적인 답변 엔진으로 취급하기보다는, 가설이 바뀜에 따라 출력을 검사하고 수정하며 유도할 수 있는 대화형 파트너로 규정합니다. 복잡한 도메인 의미와 잦은 스키마 변경이 수반되는 중대한 공공 데이터셋인 미국 교육부의 종합 고등교육 데이터 시스템(IPEDS)을 전문 저널리스트들이 본 시스템을 사용해 분석한 사례 연구를 제시합니다. 또한 실제 배포 경험과 반복적인 개선 과정이 현재의 DataWeave 아키텍처와 분석 워크플로를 어떻게 형성했는지 보고합니다. 본 연구 결과는 정형 데이터 분석에서 신뢰할 수 있는 인간-LLM 협업을 위한 설계 원칙과 배포 교훈을 도출합니다.
인간 유도 및 물리 제약 AI 에이전트를 통한 토양 플러그 발달에 대한 감사 가능한 모델 구축
Human-guided physics-constrained AI agents construct an auditable model of soil-plug evolution
공학적 예측은 물리적 메커니즘을 방정식, 이산화, 코드 및 검증(validation)으로 일관되게 변환해야 하지만, 국소적인 확인에도 불구하고 오류가 전파될 수 있습니다. 인공지능(AI) 에이전트(agent)는 과학적 작업을 자동화하지만, 물리적 제약과 인간의 감독 하에 이론에서 솔버(solver)에 이르는 과정을 조율하고 독립적으로 감사하는 문제는 아직 해결되지 않았습니다. 본 연구에서는 인간 전문가가 허용 가능한 물리 및 모델링 경계를 정의하고, 에이전트가 증거를 검색하고 방정식을 유도하며 솔버를 구현하고 이론-코드 체인을 감사하는 인간 참여형(human-in-the-loop) 물리 제약 멀티 에이전트 워크플로를 소개합니다. 석션 케이슨 설치 중 토양 플러그(soil-plug) 발달에 적용했을 때, 물리적 지식과 입력이 준비된 후 2.9시간의 에이전트 실행만으로 6개의 정식화(formulation)를 생성하고 감사했습니다. 이러한 정식화 중에서 기하학적 기준선(baseline)에 침투류 기반 토양 간극비 발달을 추가하자 14개 프로파일 전반에서 평균 절대 최종 융기 오차가 58.4%에서 9.0%로 감소했습니다. 최종 선정된 모델(model)은 벽체 부근 팽창(dilation)을 추가로 통합하여 9개의 최종 상태 사례에서 12.4%, 5개의 과정 이력 종점(endpoints)에서 4.2%의 평균 절대 백분율 오차를 달성했습니다. 예측 성능을 넘어, 블라인드 리플레이(blinded replay)를 통해 9개의 목표 문제를 모두 재현한 반면, 독립적인 감사를 통해 36개의 사전 정의된 검사가 통과된 후에도 5개의 구현 문제를 발견했습니다. 전반적으로 본 연구는 멀티 에이전트 AI를 단순한 작업 자동화를 넘어 인간이 관리하는 공학 솔버 영역으로 확장합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
EMNLP Industry Track 2026