arXiv:2609.23574v1 stat.ML

PACE: 사전학습 표 파운데이션 모델을 활용한 특징 스크리닝을 위한 플러그 앤 플레이 문맥 임베딩

PACE: Plug-and-Play Contextual Embedding for Feature Screening with Pretrained Tabular Foundation Models

Qi Qin, Erbo Li, Ting Wei, Zizhou Huang, Zixuan Qin, Wu Wang, Yifan Sun

제출 2026-09-22

한국어 초록

고차원 표(tabular) 학습에서 특징 스크리닝은 모델 적합 전에 무관한 특징을 제거하는 경량의 모델에 무관한(model-agnostic) 방법을 제공한다. 그러나 원시 값을 직접 점수화하면 비선형 또는 분포 구조를 놓칠 수 있다. 우리는 PACE(Plug-and-Play Contextual Embedding)를 제안한다. PACE는 기존 특징 점수화 규칙 앞에 고정(frozen)된 표 파운데이션 모델(TFM) 열(column) 인코더를 삽입하여 각 특징을 더 고차원의 문맥 표현으로 확장한다. 통제된 연구 전반에서 PACE는 추가 인코딩 비용이 크지 않음에도 복잡한 비선형 의존성에 대한 원시 공간 스크리닝을 개선한다. 이러한 이득은 TALENT 데이터셋에서의 하류(downstream) 예측으로 이어진다. PACE-DC는 이진 AUC를 0.077, 다중 클래스 macro-AUC를 0.064만큼 개선하며, 열 개 학습기(learner)에 걸쳐 정규화 RMSE의 중앙값 개선은 0.063이다. 매칭된 무작위 가중치 및 무작위 특징 대조군은 PACE가 일반적인 차원 확장을 넘어 사전학습된 구조로부터 이득을 얻음을 보여준다. PACE는 또한 태스크에 맞춘 선택기 및 attribution 기반 방법 대비 유리한 성능-시간 트레이드오프를 달성하며, 사전학습된 열 기하를 표 학습을 위한 재사용 가능한 상류(upstream) 원시 요소로 자리매김한다.

원문 초록

In high-dimensional tabular learning, feature screening provides a lightweight, model-agnostic way to remove irrelevant features before model fitting. However, scoring raw values directly can miss nonlinear or distributional structure. We introduce PACE (Plug-and-Play Contextual Embedding), which inserts a frozen tabular foundation model (TFM) column encoder before an existing feature-scoring rule, expanding each feature into a higher-dimensional contextual representation. Across controlled studies, PACE improves raw-space screening of complex nonlinear dependence with only modest additional encoding cost. These gains translate to downstream prediction on TALENT datasets: PACE-DC improves binary AUC by 0.077 and multiclass macro-AUC by 0.064, with a median normalized RMSE improvement of 0.063 across ten learners. Matched random-weight and random-feature controls show that PACE gains from pretrained structure beyond generic dimensional expansion. PACE further achieves favorable performance--time trade-offs against task-fitted selectors and attribution-based methods, positioning pretrained column geometry as a reusable upstream primitive for tabular learning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23574v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.