엔터프라이즈 표현 단순화(ERS): 엔터프라이즈 AI를 위한 표현 복잡도 축소
Enterprise Representation Simplification (ERS): Reducing Representational Complexity for Enterprise AI
한국어 초록
엔터프라이즈 정보는 애플리케이션, 프로젝트, 기술, 조직 경계 및 로컬 요구사항에 의해 형성된 아티팩트를 통해 표현됩니다. 이러한 구조는 시간이 지남에 따라 축적되어 엔터프라이즈가 유지관리해야 하고 정보 소비자 및 AI 시스템이 해석해야 하는 표현 복잡도(representational complexity)를 유발합니다. 본 논문은 정의된 범위 내에서 필요한 정보를 보존하면서 불필요한 표현 복잡도를 줄이는 엔터프라이즈 표현 단순화(ERS)와, 여러 표현 상태 간의 복잡도를 비교하기 위한 표현 중립적 모델인 엔터프라이즈 표현 복잡도(ERC)를 소개합니다. ERC는 표현 객체(Representation Objects), 상호작용(Interactions), 동작(Behaviors), 지원 소스(Supporting Sources)의 네 가지 차원을 통해 표현 범위를 특성화합니다. 객체, 상호작용, 동작은 상호 의존적 범주를 형성하며, 지원 소스는 표현 노출을 특성화합니다. ERC는 표현 및 태스크 수준에서 정의되어 비교를 가능하게 하고 아키텍처 단순화와 검색 최적화를 구별합니다. 본 논문은 ERS의 두 가지 파급효과를 전개합니다. 첫째, 표현 구조는 유지보수, 거버넌스, 의존성, 변경, 기능 개선 및 운영에 대한 수명주기 책무를 발생시킵니다. 경제 모델은 반복적인 글로벌 표현 비용, 반복적인 태스크 수준 비용, 일회성 변환 비용을 구분하여 정의된 기간 동안의 평가를 가능하게 합니다. 둘째, 태스크 수준 ERC의 감소는 AI 시스템이 식별, 연결 및 해석해야 하는 표현 범위를 줄여줍니다. Text-to-SQL 연구는 스키마 및 추론 복잡도의 감소가 추론 정확도를 향상시킬 수 있다는 증거를 제공합니다. ERC는 보편적인 복잡도, 성능 또는 비용 메트릭이 아닙니다. 이는 대안적 표현, 변환 효과, 경제적 결과 및 AI 추론 성능을 비교하기 위한 측정 가능한 아키텍처 변수를 제공합니다.
원문 초록
Enterprise information is represented through artifacts shaped by applications, projects, technologies, organizational boundaries, and local requirements. These structures accumulate over time, creating representational complexity that must be maintained by the enterprise and interpreted by information consumers and AI systems. This paper introduces Enterprise Representation Simplification (ERS) as reducing unnecessary representational complexity while preserving required information within a defined scope, and Enterprise Representation Complexity (ERC), a representation-neutral model for comparing complexity across representation states. ERC characterizes representational extent through four dimensions: Representation Objects, Interactions, Behaviors, and Supporting Sources. Objects, Interactions, and Behaviors form dependent categories, while Supporting Sources characterize representation exposure. ERC is defined at representation and task levels, enabling comparison and distinguishing architectural simplification from retrieval optimization. The paper develops two consequences of ERS. First, representational structures create lifecycle obligations for maintenance, governance, dependencies, change, enhancement, and operation. An economic model distinguishes recurring global representation cost, recurring task-level cost, and one-time transformation cost, enabling evaluation over a defined time horizon. Second, reductions in task-level ERC reduce the representational extent an AI system must identify, relate, and interpret. Text-to-SQL research provides evidence that reduced schema and reasoning complexity can improve reasoning accuracy. ERC is not a universal complexity, performance, or cost metric. It provides measurable architectural variables for comparing representational alternatives, transformation effects, economic outcomes, and AI reasoning performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
올바른 테이블과 컬럼 찾기: SQL 스키마 검색을 위한 벤치마크 및 코퍼스 적응형 임베딩
Finding the Right Tables and Columns: A Benchmark and Corpus-Adaptive Embeddings for SQL Schema Retrieval
SQL 설정에서의 검색(Retrieval)은 대규모 SQL 문 모음에서 자연어 질문에 답하는 SQL 문을 찾는 작업으로 주로 연구되어 왔다. 그러나 규모가 커질수록 생성에 앞서 더 근본적인 검색 문제가 선행한다. 바로 스키마 검색(schema retrieval)으로, 모델의 컨텍스트 윈도우(context window)에 담기 훨씬 많은, 수천 개에 이를 수 있는 데이터베이스에서 질문에 필요한 테이블과 컬럼을 식별하는 것이다. 우리는 이 단계가 일급 평가(first-class evaluation)를 받을 자격이 있다고 주장한다. 이를 위해 Spider, BIRD, BEAVER 및 두 가지 LiveSQLBench 변형 등 다섯 개의 text-to-SQL 데이터셋을 테이블 및 컬럼 수준의 검색 작업으로 재구성하고, 두 가지 문서 표현 하에서 현실적이고 기업 규모의 스키마를 다루며, 기성 텍스트 및 코드 임베더(embedder)가 이 설정에 잘 전이되지 않음을 보인다. 그다음 코퍼스 적응형 미세조정(corpus-adaptive fine-tuning)을 제안한다. 목표 스키마 코퍼스에서 직접 자연어 쿼리를 합성하고, 입도(granularity) 인식 hard negative를 채굴하며, 305M-매개변수 임베더를 대조적으로 미세조정한다. 이 절차는 평균 재현율@10을 60.4에서 75.6으로(nDCG@10을 51.9에서 68.0으로) 끌어올려, 305M 모델을 10억 매개변수 미만에서 최강의 검색기로 만들고, 4–8B 매개변수의 최신(state-of-the-art) 임베더보다 한 자릿수 이상 크기가 작으면서도 경쟁력 있게 만든다. 동일한 방법은 8B 최신 임베더의 재현율@10을 77.8에서 78.4로 향상시켜 벤치마크 최고 결과와 일치하며, 적응이 백본에 독립적(backbone-agnostic)임을 시사한다. leave-one-corpus-out 실험과 누수 감사(leakage audit)는 이러한 성능 향상이 평가 데이터의 암기가 아니라 전이 가능한 스키마 검색 능력을 반영함을 보여준다. 우리의 결과는 스키마 링킹(schema linking)을 독립적인 검색 작업으로 확립하고, 경량의 라벨 없는(label-free) 코퍼스 적응을 기업 규모 배포를 위한 실용적 경로로 제시한다.
Spider 2.0-AIFunc: 실세계 Text-to-SQL을 AI 네이티브 SQL 워크플로우로 확장
Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows
주요 클라우드 데이터 플랫폼들은 현재 대규모 언어 모델(LLM) 기능을 네이티브 SQL 함수로 제공하고 있으며, 이를 통해 분석가들은 일반 SQL 쿼리 내에서 분류(classification), 필터링, 감성 분석(sentiment analysis), 추출, 유사도 검색, 집계 등의 작업을 수행할 수 있다. 그러나 기존 text-to-SQL 벤치마크는 기존 SQL만을 평가하며, 모델이 이러한 AI 네이티브 SQL을 생성할 수 있는지에 대한 신호를 제공하지 않는다. 우리는 Snowflake 플랫폼에서 여섯 가지 유형의 AI 함수를 다루는 125개의 실세계 데이터베이스에 걸쳐 465개의 검증된 인스턴스로 구성된 벤치마크인 Spider 2.0-AIFunc를 소개한다. 기존 엔터프라이즈 text-to-SQL 벤치마크를 출발점으로 삼아, 에이전트(agent) 기반 파이프라인을 통해 Spider 2.0-AIFunc를 구축하였다. 이 파이프라인은 원본 태스크를 AI 네이티브 형태로 재작성하는 동시에 목표 쿼리를 변환하고 자연어 지시를 정제하여 의도된 AI 네이티브 솔루션을 명확히 하고 모호성을 줄인다. 모든 인스턴스는 릴리즈 전 결과 안정성을 확인하기 위해 시간적으로 분리된 윈도우에서 다중 라운드 반복 실행 프로토콜을 통과한다. 최첨단 언어 모델(language model) 10개를 평가한 결과, 가장 강력한 독점 모델(model)은 67~70%의 실행 정확도에 도달한 반면 최고의 오픈소스 모델은 58.1%를 달성하였으며, 이 격차는 주로 조건 명세, 스키마 그라운딩(schema grounding), AI 함수 파라미터화의 오류에서 비롯된다. 스키마 검색 및 관련 테이블 선택과 같이 전통적인 text-to-SQL 과제를 위해 설계된 에이전트 프레임워크는 AI 네이티브 SQL에 효과적으로 전이되지 않는다. 최소한의 에이전트 설정이 더 정교한 대안과 일관되게 동등하거나 우수한 성능을 보였으며, 이는 해당 프레임워크가 채택하는 전략들이 이 설정에서는 덜 중요함을 시사한다. 데이터는 https://github.com/Leolty/Spider2-AIFunc 에서 이용 가능하다.
AI가 분류할 때: 공공행정이란 무엇인가?
When AI Classifies: What Counts as Public Administration?
본 연구는 학술 표현의 대안적 체계들이 행정학(PA)과 인공지능 관련 행정학(AI-in-PA) 학술 연구를 어떻게 식별하고 특징짓는지를 고찰한다. 핵심 질문은 어떤 체계가 행정학에 대한 확정적 분류를 제공하는가가 아니라, 학술 분류의 대안적 체계들이 행정학의 지적 경계를 식별하고 표현하는 방식에서 어떻게 다른가이다. 본 연구는 Web of Science와 OpenAlex에 대한 탐색적·비교 분석을 통해 저자 정의 방식, 인용 기반 방식, AI 지원 방식의 표현에 기초한 다섯 가지 접근법을 비교한다. 분석 결과는 말뭉치 규모, 출판 유형, DOI 이용 가능성, 출판 매체, 시간적 양상, 주제 구조에서 상당한 차이와 제한적인 중복이 있음을 보여 준다. 대안적 접근법들은 동일한 문헌의 더 크거나 더 작은 부분집합을 식별하는 데 그치지 않고 실질적으로 서로 다른 학술 집합을 식별하기 때문에 서로 구별되는 표현을 만들어 내는 경향이 있다. 연구 결과는 알고리즘에 의한 지식 조직화가 학제 간 학술 연구가 분류되고 연결되고 이해되는 방식에, 그리고 인식론적으로는 그 가시성, 구조, 지적 정체성이 표현되는 방식에 영향을 미침을 시사한다. AI 기반 학술 분류는 중립적이지 않고 해석적이며 잠재적으로 자기강화적이어서 학문 분야 경계의 진화와 적응을 제약할 수 있다. 따라서 인간 전문가의 판단은 여전히 필수적이며, AI 지원 학술 분류에 의해 대체되기보다는 보완된다.
정보 중개자로서의 AI 검색: 웹 트래픽에 대한 클릭스트림 증거
AI Search as an Information Intermediary: Clickstream Evidence on Web Traffic
AI 검색은 생성된 답변의 근거를 마련하기 위해 웹 정보를 검색한다. 우리는 ChatGPT Search 출시 기간 동안 이용 현황과 유입(referral)을 함께 관찰한 미국 데스크톱 클릭스트림 데이터를 사용하여 이 새로운 정보 중개자를 연구한다. 유입은 ChatGPT 세션의 5.4%에 동반되는 반면 Google 질의에서는 31.1%에 동반된다. 광고 기반 사이트는 Google보다 ChatGPT에서 더 적은 비중의 유입을 받는 반면, 참고 자료 및 기술 사이트는 더 큰 비중을 받는다. 기존 검색(Google, Bing, Yahoo)은 ChatGPT 채택 이후 감소하며, 채택이 계정 없는 사용자로의 ChatGPT Search 확대 이후에 이루어질 때 더 일찍 감소한다. 기존 사용자 중에서는 그 확대가 ChatGPT 이용을 늘리며, 기존 검색은 전반적으로 감지 가능한 변화가 없으나 이전 검색 활동이 적은 가구에서는 감소한다. 이러한 결과는 AI 검색이 자체 유입과 기존 검색의 변화를 통해 개방형 웹 트래픽을 재편할 수 있음을 시사한다.
DeepStress: 딥 검색 에이전트 스트레스 테스트
DeepStress: Stress-Testing Deep Search Agents
검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.