arXiv:2606.09323v2 cs.AI

TRL-Bench: 표형 인코더의 패러다임 간 표현 수준 평가 표준화

TRL-Bench: Standardizing Cross-Paradigm Representation-Level Evaluation of Tabular Encoders

Wei Pang, Xiangru Jian, Hehan Li, Zhixuan Yu, Alex Xue, Jinyang Li, Zhengyuan Dong, Xinjian Zhao, Hao Xu, Chao Zhang, Reynold Cheng, M. Tamer \"Ozsu, Tianshu Yu

제출 2026-11-13

한국어 초록

표형(tabular) 인코더는 일반적으로 과제별 종단간 파이프라인 내에서 평가되므로, 유사한 표형 신호를 다루더라도 서로 다른 학습 패러다임의 모델을 직접 비교하기 어렵다. 본 논문은 패러다임 간 표현 수준 평가를 표준화하는 다중 입도 표형 표현 학습(TRL) 벤치마크인 TRL-Bench를 제안한다. 각 인코더는 지원되는 래퍼를 통해 행, 열 또는 테이블 임베딩을 내보내며, 공유된 경량 헤드가 세 가지 스위트, 즉 TRL-CTbench(열/테이블), TRL-Rbench(행), TRL-DLTE(세 가지 입도를 모두 아우르는 조합형 데이터 레이크 테이블 확장(Data-Lake Table Enrichment))에서 이를 프로빙한다. 이러한 표준화된 설정을 지원하기 위해, 123개의 검증된 타깃을 가진 50개의 OpenML 테이블, 16개의 행 쌍 연결 재구성 과제, 1,379개의 상위 테이블에서 파생된 47,772개 테이블의 DLTE 레이크를 포함한 선별된 벤치마크 자산과 과제 재구성을 공개한다. 20개 모델과 16개 과제에 걸쳐, TRL-Bench는 하위 과제 조건이 표준화되면 인코더의 품질이 단일 리더보드로 포착되지 않고 역량별로 다르게 나타남을 보여 준다. TRL-CTbench에서는 표면 텍스트 신호가 강한 과제에서 범용 텍스트 인코더가 흔히 앞서고, 사전학습 목적이 과제와 부합하는 경우에는 표형 전문 모델이 우세하다. TRL-Rbench에서는 테이블 내 예측과 테이블 간 연결이 서로 다른 학습 체제를 선호하며, 원자적 연결 성능은 DLTE 파이프라인의 행 매칭 단계와 강한 상관을 보인다. TRL-DLTE에서는 가장 강력한 파이프라인이 단일 인코더를 재사용하기보다 역량에 맞는 전문 모델을 조합하며, 최고의 종단간 품질은 단계별 한계 순위만이 아니라 비가산적인 조합 적합성에 좌우된다. TRL-Bench는 공유된 하위 과제 조건에서 내보낸 표형 표현의 재사용 가능한 신호를 측정하기 위한 공통 프로토콜을 제공한다. 코드: https://github.com/LOGO-CUHKSZ/TRL-Bench; 데이터는 Hugging Face에서 공개된다.

원문 초록

Tabular encoders are usually evaluated inside task-specific end-to-end pipelines, so models from different training paradigms are difficult to compare directly even when they operate on similar tabular signals. We introduce TRL-Bench, a multi-granular tabular representation learning (TRL) benchmark that standardizes cross-paradigm representation-level evaluation: each encoder exports row-, column-, or table embeddings through its supported wrapper, and shared lightweight heads probe them across three suites: TRL-CTbench (column/table), TRL-Rbench (row), and TRL-DLTE (compositional Data-Lake Table Enrichment spanning all three granularities). To support this standardized setting, we release curated benchmark assets and task reformulations, including 50 OpenML tables with 123 verified targets, 16 row-pair linkage rewrites, and a 47,772-table DLTE lake derived from 1,379 parent tables. Across 20 models and 16 tasks, TRL-Bench shows that once downstream conditions are standardized, encoder quality is capability-specific rather than captured by a single leaderboard. In TRL-CTbench, generic text encoders often lead on tasks with strong surface-text signal, while tabular specialists win where their pretraining objective aligns with the task. In TRL-Rbench, within-table prediction and cross-table linkage favor different training regimes, with atomic linkage performance correlating strongly with the row-matching stage of DLTE pipelines. In TRL-DLTE, the strongest pipelines combine capability-matched specialists rather than reuse a single encoder, and top end-to-end quality depends on non-additive compositional fit rather than per-stage marginal rank alone. TRL-Bench provides a common protocol for measuring reusable signal in exported tabular representations under shared downstream conditions. Code: https://github.com/LOGO-CUHKSZ/TRL-Bench; data is released on Hugging Face.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.09323v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.