지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.
기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.
사전 데이터 적합 네트워크(PFN, Prior-Data Fitted Network)는 단일 순전파(forward pass)로 근사 베이지안 추론(inference)을 수행하며, 이를 기반으로 구축된 정형 파운데이션 모델(TFM)은 현재 널리 사용되고 있습니다. 네트워크가 내부적으로 무엇을 추론하는지 이해하기 위해 최근 TFM에 대한 기저 메커니즘(mechanistic) 연구들은 예측이 형성되는 위치를 파악하고 있으나, 이러한 모델을 PFN이 아닌 단순 정형 예측기로 다루고 있습니다. 따라서 PFN이 정상 커널(stationary kernel)을 규정하는 양인 컨텍스트의 스펙트럼 성분을 표현하는지, 그리고 이 성분을 명시적인 커널로 읽어낼 수 있는지는 여전히 밝혀지지 않았습니다. 본 연구에서는 두 질문에 모두 답합니다. 첫째, 4개의 사전학습된 TFM 및 의사결정 나무 사전에 대해서만 학습된 모델을 포함한 7개의 PFN 전반에서 잔차 스트림(residual stream)에 대한 선형 프로브는 $R^2 \geq 0.95$로 컨텍스트의 주파수를 복원합니다. 이 구조는 단일 주방향(principal direction)에 의해 주도됩니다. 둘째, 활성화 및 부분공간 패칭(activation and subspace patching)은 네트워크가 저차원 부분공간을 통해 이 구조를 사용함을 보여주며, 여기서 소수의 스펙트럼 방향이 무작위 방향보다 예측을 훨씬 더 크게 변화시킵니다. 이는 의사결정 나무 모델에서도 성립하므로, 스펙트럼 학습 사전이 필수적인 것은 아닙니다. 최대 499개의 특성을 가진 실제 데이터셋에서 라벨 없이 선택된 TabPFN의 192개 방향 중 64개는 단 한 쌍을 제외한 모든 경우에서 컨텍스트 인과 효과의 85~95%를 전달합니다. 셋째, 보흐너 정리(Bochner's theorem)를 통해 고정된 PFN 표현을 명시적인 정상 커널로 변환하는 필터 뱅크 디코더(Filter Bank Decoder)를 도입합니다. 테스트 시점의 최적화 없이도, 디코딩된 커널은 약 200배 낮은 비용으로 딥 커널 학습(deep kernel learning) 및 랜덤 푸리에 특성(random Fourier features)에 필적하는 가우시안 프로세스 회귀를 지원합니다. 따라서 PFN 잠재 공간은 인과적으로 사용되며 이식 가능한 커널로 복원할 수 있는 스펙트럼 구조를 보유하고 있습니다.
학습 데이터 기여도 분석(training-data attribution)은 어떤 학습 예제가 모델의 행동을 형성하는지 식별하는 것을 목표로 하지만, 인과적 학습 영향력을 관찰하기 어렵기 때문에 이러한 주장을 검증하기는 어렵습니다. 본 논문에서는 통제된 합성 사전학습(pre-training)을 통해 기여도 분석을 실험적으로 검증 가능하게 만들 수 있다고 주장합니다. 정형 파운데이션 모델(tabular foundation model)을 위한 풍부한 기원(provenance) 정보를 담은 합성 태스크 생성기인 O'PRIOR를 활용하여, 모든 사전학습 태스크가 구조적 메커니즘, 결측성, 교란, 지름길(shortcut), 분포 변화에 대한 명시적인 계통(lineage)을 갖는 테스트베드를 구축합니다. 우리는 태스크 수준의 충실도와 메커니즘 수준의 일관성을 모두 검증하기 위해 행동 조건부 기여도 분석을 반사실적 재학습 및 기원 인지 개입과 결합합니다. 홀드아웃된 실제 태스크에서 기여도 상위 5%의 합성 태스크를 제거하면 평균 ROC-AUC가 0.013 감소하여 무작위 제거 시의 0.002$\pm$0.004와 대조를 이룬 반면, 기여도 하위 태스크를 제거하면 성능이 0.003 향상됩니다. 지름길 기원 태스크 내에서 목표 제거를 수행하면 일치된 무작위 제거의 0.016 대비 0.043의 효과를 보입니다. 상당한 상위 k개 농축에도 불구하고 랭킹 AUROC 기준 기원 판별력은 다소 완만한 수준(0.55-0.62)으로 나타나, 기원 연관성과 개입적 충실도가 반드시 일치하지는 않음을 보여줍니다. 이러한 결과는 합성 기원이 검증 가능한 기여 귀속을 위한 통제된 환경임을 입증합니다.
표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.
표 형식 파운데이션 모델(TFM)은 작업별 추정 없이 문맥 내 학습(ICL)을 통해 구조화된 데이터에 대한 예측을 생성한다. TFM을 마케팅 및 운영 분야의 핵심 수요 추정 프레임워크인 이산 선택(discrete choice)에 효과적으로 적용할 수 있는지 검토한 결과, TFM을 직접 적용하면 성능이 제한적임을 확인했다. 이 격차는 구조적이다. TFM은 행 단위로 독립적인 관측을 가정하지만, 이산 선택은 본질적으로 집합 값(set-valued)이며 지속적인 소비자 선호 이질성(heterogeneity)의 영향을 받는다. 우리는 선택 집합 의존성과 개별 이질성을 모두 행 기반 학습 프레임워크 내에 인코딩하는 재공식화를 제안한다. 요구르트 스캐너 패널 데이터에서 평가한 결과, 개별 수준 이질성 인코딩이 예측 정확도의 지배적 요인이다. 최적의 재공식화는 홀드아웃 가능도에서 8%, 적중률에서 3.6% 계층적 베이지안 추정(hierarchical Bayesian estimation)을 능가하며, 16배 빠르게 실행되어 대규모 수요 추정에 실용적 이점을 제공한다. 이점은 중간 데이터 영역(소비자당 구매 10–40회)에서 가장 크며, 이 구간에서 모수적 베이지안 수축(parametric Bayesian shrinkage)이 비전형적 소비자에 대한 추정치를 가장 왜곡한다. 인구 수준 선택 데이터에 대한 미세조정은 구매 이력이 짧은 소비자에게 추가 이득을 제공하며, 이 경우 문맥 내 학습이 조건화할 개별 특화 신호가 제한적이다. 이러한 결과는 소비자 선택 문제에 파운데이션 모델을 적용하기 위한 원칙적 접근법을 제시한다.
표 형식 환자 데이터에서의 시간-이벤트 예측은 예후 및 생의학적 의사결정 지원의 핵심이지만, 우중도절단(right-censored) 추적관찰은 일반적인 회귀 레이블의 직접 사용을 방해한다. 표 형식 파운데이션 모델은 소규모 이질적 데이터셋에 재사용 가능한 예측 구조를 제공하지만, 일반적으로 완전히 관측된 결과를 가정한다. 우리는 생존 결과를 제한 평균 생존 시간(restricted mean survival time, RMST)에 대한 잭나이프(jackknife) 유사 관측 타깃으로 변환하여, 생존 전용 미세조정 없이 여러 표 형식 백본이 호라이즌별 RMST 회귀를 수행할 수 있도록 하는 중도절단 인식 타깃 인터페이스 프레임워크인 SurvFM-RMST를 소개한다. 조건부 RMST가 알려진 통제된 시뮬레이션에서 SurvFM-RMST는 제한 무이벤트 시간을 정확하게 복원하였으며, 유사 RMST 타깃은 단순 제한 관측 시간 및 이벤트 전용 타깃보다 우수한 성능을 보였다. 적격한 36개의 정적 SurvSet 데이터셋에서 SurvFM 백본은 기존의 생존 분석 및 RMST 회귀 비교 모델들과 경쟁력 있는 성능을 보였으나, 상대적 성능은 엔드포인트, 호라이즌 및 실용적 제약에 따라 달랐다. 예측된 RMST는 보류된 환자들을 순서가 있는 관측 무이벤트 시간과 이벤트 농축을 갖는 그룹으로 층화하였다. 전반적으로, 결과는 유사 RMST 타깃 구성이 중도절단 생존 데이터와 표 형식 파운데이션 모델 예측 간의 이식 가능한 인터페이스로서 유효함을 지지한다.
표 형식 기반 모델(TFM)의 전이학습에서 컨텍스트 크기 제약과 분포 이동으로 인한 부정적 전이(negative transfer) 문제를 해결하기 위해, 예산 제약 최적 수송(optimal transport) 기반 앵커 선택과 로컬 지식 증류(distillation)를 결합한 TL-ANDI 프레임워크를 제안한다. TL-ANDI는 소스 데이터에서 타겟 공변량 커버리지와 사후분포 호환성을 동시에 고려해 대표 샘플을 선별하고 잔차 보정을 적용함으로써, 회귀 및 분류 태스크 모두에서 부정적 전이 없는 안전한 전이학습을 이론적·실증적으로 보장한다.
지식 그래프(knowledge graph)에서 도출한 구조적 어텐션 사전(attention prior)과 파라미터 효율적 저랭크 업데이트를 결합해 소규모 TabPFN·TabICL 스타일 테이블형 파운데이션 모델을 파인튜닝하는 KnowsTFM을 제안한다. 특수 도메인(생의학 등) 환경에서는 도메인 구조 지식 주입이 유의미한 성능 향상을 가져오지만, 일반 도메인에서는 효과가 미미하며 지속적 파인튜닝 시 사전학습 지식 붕괴(collapse) 위험이 존재함을 실증적으로 보인다.
마이크로바이옴 풍부도 데이터에서 표 형식 기반 모델(TFM)의 현실적 쿼리 분포 이동 견고성을 평가하기 위해, 미교란 지원 집합을 문맥으로 두고 쿼리 샘플에만 생물학적 섭동을 적용하는 문맥 내 학습(ICL) 벤치마크를 제안한다. 6개 장내 미생물군 데이터셋 실험에서 판별적 분류군을 보존해도 모든 섭동이 성능을 떨어뜨렸고, 허위 0이 아닌 값 주입(zero-imputation)이 가장 큰 손실을 낳았으며, zero-inflation 기반 희소화는 랜덤 포orest보다 TFM에 더 불리하게 작용했다.
사망과 같은 시간-사건(time-to-event) 결과 예측은 임상 의사결정에서 근본적인 과업이며, 일반적으로 생존분석을 통해 다룬다. 전통적인 통계 및 심층 학습 접근법은 널리 연구되어 왔지만, 일반적으로 과업 특화 학습과 충분한 레이블 데이터가 필요하다. 최근 테이블형 파운데이션 모델의 발전은 구조화 데이터에 대한 범용 표현을 학습함으로써 새로운 패러다임을 제시한다. 그러나 일반적인 응용이 생존분석 과업보다는 이산 분류에 제한되어 있기 때문에, 임상 환경에서 검열이 있는 시간-사건 예측에 대한 이들의 적용 가능성은 아직 충분히 탐구되지 않았다. 본 연구에서는 사전학습 표현 위에 생존 인식 헤드를 직접 학습함으로써, 테이블형 파운데이션 모델을 임상 생존분석에 적용하기 위한 경량 적응 접근법을 제안한다. TabPFN, TabDPT, TabICL 등 대표 아키텍처를 연구하며, 우측 검열(right-censored) 시간-사건 결과를 모델링하기 위해 다과업 로지스틱 회귀(MTLR) 헤드를 사용하여 이들을 적응한다. 공개 생존분석 벤치마크와 MIMIC-IV, eICU 두 대규모 ICU 코호트에서 이 접근법을 평가한다. 결과는 이 전이학습 접근법이 강력한 기준선과 비교하여 경쟁력 있거나 우수한 성능을 달성함을 보여준다. MIMIC-IV에서 TabDPT-FT-MTLR은 C-index 0.856에 도달하며, 최고 비-FM 기준선(DeepSurv, 0.844) 대비 +1.4%, 최고 제로샷 모델(0.802) 대비 +6.7%의 상대적 향상에 해당한다. eICU에서 TabICL-FT-MTLR은 0.797을 달성하며, 각각 +1.7%(DeepSurv, 0.784) 및 +6.4%(0.749)의 향상을 제공한다. 이 결과는 사전학습된 테이블형 표현과 생존 인식 목적함수를 결합하는 것의 중요성을 강조하며, 테이블형 파운데이션 모델이 임상 생존 예측을 위한 실용적이고 효과적인 대안을 제공함을 시사한다.