TRL-Bench: 표형 인코더의 패러다임 간 표현 수준 평가 표준화
TRL-Bench: Standardizing Cross-Paradigm Representation-Level Evaluation of Tabular Encoders
한국어 초록
표형(tabular) 인코더는 일반적으로 과제별 종단간 파이프라인 내에서 평가되므로, 유사한 표형 신호를 다루더라도 서로 다른 학습 패러다임의 모델을 직접 비교하기 어렵다. 본 논문은 패러다임 간 표현 수준 평가를 표준화하는 다중 입도 표형 표현 학습(TRL) 벤치마크인 TRL-Bench를 제안한다. 각 인코더는 지원되는 래퍼를 통해 행, 열 또는 테이블 임베딩을 내보내며, 공유된 경량 헤드가 세 가지 스위트, 즉 TRL-CTbench(열/테이블), TRL-Rbench(행), TRL-DLTE(세 가지 입도를 모두 아우르는 조합형 데이터 레이크 테이블 확장(Data-Lake Table Enrichment))에서 이를 프로빙한다. 이러한 표준화된 설정을 지원하기 위해, 123개의 검증된 타깃을 가진 50개의 OpenML 테이블, 16개의 행 쌍 연결 재구성 과제, 1,379개의 상위 테이블에서 파생된 47,772개 테이블의 DLTE 레이크를 포함한 선별된 벤치마크 자산과 과제 재구성을 공개한다. 20개 모델과 16개 과제에 걸쳐, TRL-Bench는 하위 과제 조건이 표준화되면 인코더의 품질이 단일 리더보드로 포착되지 않고 역량별로 다르게 나타남을 보여 준다. TRL-CTbench에서는 표면 텍스트 신호가 강한 과제에서 범용 텍스트 인코더가 흔히 앞서고, 사전학습 목적이 과제와 부합하는 경우에는 표형 전문 모델이 우세하다. TRL-Rbench에서는 테이블 내 예측과 테이블 간 연결이 서로 다른 학습 체제를 선호하며, 원자적 연결 성능은 DLTE 파이프라인의 행 매칭 단계와 강한 상관을 보인다. TRL-DLTE에서는 가장 강력한 파이프라인이 단일 인코더를 재사용하기보다 역량에 맞는 전문 모델을 조합하며, 최고의 종단간 품질은 단계별 한계 순위만이 아니라 비가산적인 조합 적합성에 좌우된다. TRL-Bench는 공유된 하위 과제 조건에서 내보낸 표형 표현의 재사용 가능한 신호를 측정하기 위한 공통 프로토콜을 제공한다. 코드: https://github.com/LOGO-CUHKSZ/TRL-Bench; 데이터는 Hugging Face에서 공개된다.
원문 초록
Tabular encoders are usually evaluated inside task-specific end-to-end pipelines, so models from different training paradigms are difficult to compare directly even when they operate on similar tabular signals. We introduce TRL-Bench, a multi-granular tabular representation learning (TRL) benchmark that standardizes cross-paradigm representation-level evaluation: each encoder exports row-, column-, or table embeddings through its supported wrapper, and shared lightweight heads probe them across three suites: TRL-CTbench (column/table), TRL-Rbench (row), and TRL-DLTE (compositional Data-Lake Table Enrichment spanning all three granularities). To support this standardized setting, we release curated benchmark assets and task reformulations, including 50 OpenML tables with 123 verified targets, 16 row-pair linkage rewrites, and a 47,772-table DLTE lake derived from 1,379 parent tables. Across 20 models and 16 tasks, TRL-Bench shows that once downstream conditions are standardized, encoder quality is capability-specific rather than captured by a single leaderboard. In TRL-CTbench, generic text encoders often lead on tasks with strong surface-text signal, while tabular specialists win where their pretraining objective aligns with the task. In TRL-Rbench, within-table prediction and cross-table linkage favor different training regimes, with atomic linkage performance correlating strongly with the row-matching stage of DLTE pipelines. In TRL-DLTE, the strongest pipelines combine capability-matched specialists rather than reuse a single encoder, and top end-to-end quality depends on non-additive compositional fit rather than per-stage marginal rank alone. TRL-Bench provides a common protocol for measuring reusable signal in exported tabular representations under shared downstream conditions. Code: https://github.com/LOGO-CUHKSZ/TRL-Bench; data is released on Hugging Face.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.09323v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.