PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26658v1cs.IR

텍스트를 통한 서로소 테이블의 발견 기반 통합

Discovery-Driven Integration of Disjoint Tables via Text

데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.

arXiv:2607.21781v1cs.DB

MosaicJoin: 값 수준 조인 발견을 위한 컴팩트 의미 스케치

MosaicJoin: Compact Semantic Sketches for Value-Level Join Discovery

데이터셋 검색에서 조인 발견은 핵심 과제로, 사용자가 주어진 쿼리 열과 조인할 수 있는 열을 찾을 수 있게 한다. 초기 접근법은 동등 조인(equi-join)에 초점을 맞추었지만, 데이터 레이크와 공개 데이터 저장소에는 값이 동일한 개체를 가리키지만 서로 다른 구문적 표현을 사용하는 열이 흔히 포함되어 있다. 이 문제에 대응하기 위해 최근 접근법들은 의미적으로 조인 가능한 열을 발견하지만 근본적인 트레이드오프에 직면한다. 값 수준 비교를 수행하는 방법은 조인 가능한 열을 정확히 식별하지만 카디널리티가 높은 열에 대해 확장성이 떨어지고, 전체 열을 단일 임베딩으로 인코딩하는 열 수준 방법은 효율적이지만 조인 가능 여부를 결정하는 세밀한 값 정렬을 포착하지 못한다. 본 논문에서는 이 트레이드오프를 균형 있게 해결하는 값 수준 의미 조인 발견 방법인 MosaicJoin을 제안한다. MosaicJoin은 모든 값을 비교하지 않고도 열 쌍의 조인 가능성을 근사하는 새로운 스케치 전략을 통해 확장성을 달성한다. 쿼리 시점에 MosaicJoin은 스케치 크기로 한정된 비용으로 조인 가능성 점수를 사용해 각 후보 스케치를 채점하여, 카디널리티가 높은 열에서도 검색을 효율적으로 만든다. 쿼리 서브샘플링 연산자는 증명 가능한 정확도 보장과 함께 온라인 검색 시간을 더 줄여, 대규모 쿼리 열에 대한 견고한 검색을 가능하게 한다. 광범위한 실험 결과 MosaicJoin은 모든 벤치마크에서 기존에 발표된 방법들을 능가하며, 다른 값 수준 방법보다 최대 66배 빠르게 실행된다. MosaicJoin은 학습이나 미세조정이 필요 없으며, 최대 57K개의 값을 포함하는 쿼리 열과 최대 1M개의 값을 포함하는 데이터 레이크 열까지 견고하게 확장된다.