임상 정형 데이터 예측에서는 특징(feature) 엔지니어링을 적용한 고전적 머신러닝 모델이 신경망 기반 방식을 능가하는 경우가 많습니다. 다운스트림 성능을 향상하기 위해 다양한 특징 변환을 제안하는 도메인 전문가 역할을 수행하며 이러한 과정을 자동화하는 데 대규모 언어 모델(LLM)이 점차 많이 활용되고 있습니다. 그러나 기존 LLM 기반 방식의 특징 생성 과정은 다운스트림 학습자를 인지하지 못합니다(learner-agnostic). 즉, LLM이 현재 어떤 특징이 예측을 주도하는지 또는 모델의 표현 능력이 어디서 부족한지에 대한 신호를 전혀 받지 못하므로, 제안된 특징이 특징 공간의 유망한 영역을 목표로 하지도 않고 학습자의 귀납적 바이어스(inductive bias)에 맞춤화되지도 않습니다. 이러한 한계는 클래스 불균형, 이종 특징 공간, 엄격한 해석 가능성 요구 사항을 동시에 나타내는 의료 데이터에서 더욱 두드러집니다. 본 논문에서는 머신러닝 실무자의 워크플로에서 영감을 받아 모델 인지 및 특징 중요도 신호를 활용하여 임상 정형 학습을 위한 특징 발견을 반복적으로 유도하는 최초의 특징 엔지니어링 프레임워크인 MedFeat를 제안합니다. 광범위하고 도전적인 실제 임상 태스크에서 MedFeat를 평가한 결과, 서로 다른 귀납적 바이어스를 가진 모델 전반에서 기준선(baseline) 대비 평균 10% 이상의 F1 점수 향상을 달성하며 최신 기준선 모델들을 통계적으로 유의미하게 능가함을 보였습니다.
심층 표현형 분석(deeply phenotyped) 코호트는 수초에서 수년에 이르는 시간 척도 전반에 걸쳐 임상, 영상, 분자 및 웨어러블 관측 데이터를 통합하지만, 이질적인 분석 결과들을 직접 비교하기는 어렵습니다. 본 논문에서는 심층 표현형 측정값을 명시적인 질문으로 변환하고 정보 출처 및 예측 모델 간의 제어된 비교를 수행하는 실행 가능한 벤치마크인 PhenoBench를 제시합니다. 이는 초기 방문 시점 기준 13,000명 이상의 참가자를 보유한 Human Phenotype Project를 기반으로 구축되었습니다. 각 질문은 목표, 대상 집단, 시점, 허용된 정보를 고정하며, 평가 계약(evaluation contract)은 분할(split), 지표(metric), 기준선(baseline), 주장 경계를 명시합니다. PhenoBench는 15개 도메인과 26개 입력 모달리티에 걸쳐 임상에 기반한 90개 태스크를 정의합니다. 52개 태스크에 걸친 160건의 매칭된 회귀 비교 전반에서, 제한된 튜닝을 적용한 고정 단일 추정기 프로토콜 하에 6개의 사전학습(pre-training)된 정형(tabular) 모델이 XGBoost 및 CatBoost를 포함하여 평가된 태스크별 기준선을 상회하는 순위를 기록했습니다. 각 태스크에 동일한 가중치(weight)를 부여했을 때, 릿지(ridge) 대비 이들의 평균 이점은 0.0103 $R^2$(95% 태스크 부트스트랩 구간, 0.0071-0.0136)였습니다. 또한 표현형 복구, 분류(classification), 후속 예측, 참가자 순위 지정을 아우르는 40개 태스크를 종합적으로 포괄하는 14개의 언어 모델을 평가했습니다. 코호트별 적합(fitting) 없이 언어 모델은 일부 태스크에서 유의미한 예측을 산출했으나 태스크별 역량 격차와 스케일(scale)에 따른 공통된 실패를 보였으며, 동일한 입력 필드에 적합된 태스크별 릿지 또는 로지스틱 회귀 모델을 능가하는 경우는 드물었습니다. PhenoBench는 기존 비교를 재정의하지 않고도 새로운 질문, 측정값, 모델을 추가할 수 있는 버전 관리 및 감사 가능한 평가 시스템을 제공합니다.
인과 표 형식 파운데이션 모델은 합성 메커니즘 전반에 걸쳐 효과 추정을 상각(amortize)하지만, 잠재 효과(latent-effect) 지도학습은 고정된 배포 모집단에서 필요한 반복 표본 반응을 직접 인코딩하는 대신 사후 분포 수축(posterior shrinkage)을 보상한다. 본 논문에서는 변동 지도 사전학습(fluctuation-supervised pretraining, FSP)을 제안한다. 각 합성 테이블은 평균 처치 효과(ATE)와 그 효율적 영향 함수(efficient influence-function) 변동의 합으로 레이블링되며, 배포 시에는 여전히 단일 고정 순전파만 수행한다. 경로 $T_{\lambda,P}=\theta(P)+\lambda P_n\psi_P$를 따라 끝점 전이(endpoint transition)를 증명한다. 즉, 고정된 모든 $\lambda<1$에서는 $(1-\lambda)^2/n$ 차수의 레이블 모호성이 남는 반면, 완전한 변동을 사용하면 가우시안 레이블을 관측할 수 있게 되어 최적의 유한 층(finite-stratum) 인과 레이블 예측 위험이 $n^{-2}$ 차수로 감소한다. 하나의 유한 사전학습 경계(bound)는 레이블 오차, 네트워크 오차, 에피소드 샘플링 오차, 최적화 오차를 결합하며, 그 결과로 얻어지는 샘플링 결함(sampling defect)은 고정 메커니즘 바이어스, 평균 제곱 오차, 분산, 가우시안 근사를 제어하고, 분산 헤드(variance-head)의 정확도가 뒷받침될 경우 스튜던트화(studentized) 커버리지까지 제어한다. 상호 보완적인 하한(lower bound)은 배포 관측으로도 제거할 수 없는 국소적 $n^{-1}$ ATE 위험과, 일반적인 유한 사전(finite-dictionary) 에피소드 학습 문제의 $\log N/M$ 초과 위험을 분리한다. 실험은 학습된 샘플링 반응을 추적한다. 원시 행/열(raw-row/column) 백본을 사용할 때, FSP는 대규모 효과 이동(large-effect-shift) 상황에서 RMSE를 잠재 지도학습 대비 69.8%, 동일 테이블에서 공개된 CausalPFN 체크포인트 대비 39.5% 감소시킨다. 연속 공변량 실험, 효과가 알려진 반합성(semisynthesis) 실험, 그리고 두 건의 무작위 연구 평가는 샘플링 법칙 충실도(sampling-law fidelity)와 점 위험 수축(point-risk shrinkage)을 분리하고, 두 학습된 헤드 모두에서 약한 중첩(weak-overlap) 오차가 나타남을 보여준다.
표 형식 데이터 학습은 여전히 그래디언트 부스팅 결정 트리(GBDT)가 지배하고 있으며, 최근 심층 학습 접근법들이 점점 경쟁력을 갖추고 있다. 그러나 심층 표 형식 모델을 대규모 데이터셋에 적용하는 것은 여전히 어려운 과제로, 대규모 샘플 크기, 높은 특징 차원수, 또는 다수의 타깃 클래스가 상당한 계산 비용을 초래할 수 있다. 우리는 대규모 표 형식 데이터 학습을 위한 매개변수 효율적인 학습 가능 신경망 앙상블인 TabLoRA를 제안한다. TabLoRA는 완전히 독립적인 앙상블 백본을 사용하는 대신, 예측기들 간에 공통 백본을 공유하고 예측기별 저랭크 적응을 도입함으로써, 전체 매개변수 복제 없이 앙상블 방식의 예측을 가능하게 한다. 벤치마크 전반에 걸쳐, TabLoRA는 동일한 리소스 제약 하에서 GBDT 방법 및 최근 심층 학습 기반 모델들과 비교하여 예측 성능과 실용적 효율성 간의 유리한 균형을 달성한다. 메모리 분석 및 절제 연구(ablation study)는 제안된 설계가 전체 앙상블의 이점을 상당 부분 유지하면서 신경망 앙상블 학습의 실현 가능성을 향상시킴을 추가로 보여준다.
관계형 데이터베이스(RDB) 파운데이션 모델에서 학습 가능한 인코더 파라미터의 효용에 이론적 한계가 있음을 증명하고, 레이블이 입력으로 주어지는 경우에도 파라미터 없는(parameter-free) 서브그래프 인코더가 다양한 벤치마크에서 강력한 성능을 유지함을 실증적으로 보인다.
When Does Small Data Work? Accuracy and Efficiency Trade-offs Between Tabular Foundation Models and Conventional Methods for Crowd-State Classification at Hajj and Umrah
하지·우므라 군중 모니터링처럼 레이블 비용이 높은 환경에서 테이블 형식 파운데이션 모델과 전통적 머신러닝 방법 간의 정확도 및 효율성 트레이드오프를 비교한 연구로, 3개의 실제 데이터셋을 활용해 레이블 예산별 성능을 분석했다. 레이블이 극히 적을 때는 파운데이션 모델이 우세하지만, 레이블이 늘어날수록 튜닝된 그래디언트 부스팅 모델이 이를 따라잡거나 능가하며, 두 접근법은 계산 비용 면에서도 뚜렷한 차이를 보였다.
Structured tabular data dominates clinical medicine, yet existing benchmarks fail to reflect real-world properties like complex survey sampling, demographic oversampling, and subgroup fairness. We introduce the NHANES Accelerometry Cardiometabolic Benchmark, derived from NHANES 2003-2006, comprising 1,381 adults with hip-worn accelerometry, fasting laboratory biomarkers, dietary intake, and anthropometrics. We evaluate three tabular learning methods -- ridge regression, XGBoost, and the foundation model TabPFN v2 -- to predict glycated haemoglobin (HbA1c), fasting triglycerides, and C-reactive protein (CRP) from activity phenotypes and lifestyle covariates. TabPFN v2 achieves the best overall performance (HbA1c R^2=0.156, CRP R^2=0.383), while triglycerides remain largely unpredictable (R^2 < 0.05), consistent with known genetic dominance. We apply split conformal prediction to generate distribution-free 90% prediction intervals and evaluate demographic coverage equity across sex and race/ethnicity subgroups. Marginal coverage aligns with the 90% target for CRP and HbA1c but falls below for triglycerides. At the subgroup level, we observe localized undercoverage (e.g., HbA1c for Mexican American participants), illustrating the gap between marginal guarantees and the conditional coverage required for clinical fairness. Code and data are at https://github.com/felizzi/nhanes-accel-cardiometabolic-benchmark.
테이블형 파운데이션 모델은 해당 시스템을 지배하는 규칙에 접근하지 않고서는 실행 중인 시스템이 생성한 데이터에 대해 추론할 수 없다. 우리는 이 진술을 반증 가능하게 만든다. 운영 튜링 테스트(Operational Turing Test, OTT)는 1-방향 및 2-방향 열-값 주변 분포가 전체 변동 <0.02로 일치하는 합법적인 데이터베이스 상태와 규칙 위반 데이터베이스 상태의 쌍을 구성하며, 르 캄 보조 정리(Le Cam's lemma)는 값만 사용하는 임의의 분류기의 베이즈 오차를 ≥0.49로 제한한다. 값만 사용하는 세 가지 기준선(XGBoost, TabICL, TabPFN)은 이 경계에 정확히 도달하고(정확도 0.50, 사전 등록된 양측 단측 검정(TOST) p<0.002), 원시 행 수준 접근은 도움이 되지 않으며, 관계형 값 일관성을 노출하면 대부분의 격차가 줄어들고, 7개의 실행 가능한 규칙 유도 감사로 입력된 분류기만이 분류 정확도 1.00에 도달한다. 100개 상태를 갖는 세 가지 매칭된 프론티어 대규모 언어 모델(LLM) 실행에서, 스키마, 트리거 소스, 규칙 테이블, 상태 파일을 제공받은 모델들은 최대 2/50의 합법적인 상태만을 LEGAL로 분류하며, GPT-5.5는 더 높은 추론 노력과 구조화 질의 언어(SQL) 실행기를 제공받더라도 0/50의 합법적인 상태를 수용한다. 접근 사다리 패턴은 구조적으로 상이한 규칙 군(은행 원장: 행 간 잔액, 누적 집계)을 갖는 두 번째 스키마에서도 나타난다. 이 장벽은 식별 가능성(identifiability)의 문제이지 용량의 문제가 아니다: 규모, 데이터, 더 풍부한 특징만으로는 운영적 그라운딩(operational grounding) 없이 이를 극복할 수 없다.
수면 EEG 기반 경도인지장애(MCI) 조기 검출을 위해 생리학적 개념 인코더, 2차 다항식 개념 상호작용 확장, TabKAN 분류기를 통합한 CPTabKAN을 제안한다. Study of Osteoporotic Fractures 코호트 372명에서 10-fold 교차검증 weighted F1 0.9038(SD 0.034)을 달성해 GradientBoosting 대비 5.65%p 유의하게 우수했으며, 개념 중요도 분석은 파워 스펙트럼 밀도·다중척 엔트로피·Hjorth 파라미터와 Lempel-Ziv-Welch 복잡도 등 교차 개념 상호작용이 생리학적으로 일관된 판별 근거를 드러냈다.
GRACE-DS는 조직별 테이블 형식 ML 작업에서 LLM 기반 AutoML 에이전트를 배포 전에 평가하기 위한 격리 환경으로, 계획·데이터 검사·특징 공학·모델 개발·검증·코드 수정부터 최종 제출까지의 워크플로우 단계를 제시하고 숨겨진 실행형 검증기로 예측 성능뿐 아니라 누수 방지, 재현성, 프로토콜 유효성, 수정 행동, 보상 정렬을 함께 측정한다. 7,000개 이상 에피소드 검증에서 유연한 반복적 상호작용 체제가 원샷 생성, 비구조화 상호작용, 재시작 기반 베이스라인보다 높은 엔드투엔드 정규화 은닉 테스트 품질과 프로토콜 유효 완료율을 달성했다.
퓨샷(few-shot) 테이블 데이터 학습은 주석(annotation) 비용이 높고 새로운 작업에 대한 충분한 샘플 수집이 어려운 실제 애플리케이션에 비용 효율적인 접근 방식을 제공합니다. 기존의 전통적인 방법과 대규모 언어 모델(LLM) 기반 방법은 퓨샷 시나리오에서 효과성을 입증했습니다. 그러나 전통적인 방법은 레이블이 없는 데이터나 생성된 데이터에 대한 추가 학습(training)이 필요하므로 상당한 계산 오버헤드가 발생합니다. 또한, 원시 테이블 데이터를 LLM에 직접 입력하는 LLM 기반 방법은 프라이버시 및 규정 준수에 대한 우려를 야기합니다. 더 중요한 것은, 두 패러다임 모두 의미론적 그래프(semantic graph)를 구성하기 위한 구조적 및 의미론적 사전 정보(prior)를 제공하는 특징(feature) 간의 의미론적 관계를 대부분 간과한다는 점입니다. 의미론적 그래프는 퓨샷 시나리오에서 의미 있는 특징 간 상호작용을 모델링하는 데 필수적입니다. 본 논문에서는 TAROT를 제안합니다. TAROT는 그래프 신경망(GNN) 기반 프레임워크로, 이 사전 정보로부터 작업 적응형 의미론적 그래프를 구성하고 정제(refinement)하여 구조적 및 의미론적 사전 정보를 인코딩함으로써 퓨샷 테이블 데이터 학습에서의 예측 성능을 향상시킵니다. TAROT는 먼저 통합 의미론적 테이블 노드 인코더(Unified Semantic Tabular Node Encoder, USTNE)를 통해 이질적인 테이블 데이터를 통합된 노드(node) 의미 표현으로 인코딩합니다. 그런 다음, 작업 설명과 특징 이름을 기반으로 특징 간의 의미론적 관계를 추론하도록 LLM에 프롬프트를 주어 의미론적 그래프를 구성합니다. LLM의 환각(hallucination)으로 인해 발생하는 구조적 노이즈를 완화하기 위해, TAROT는 작업 적응형 의미론적 그래프 정제(Task-adaptive Semantic Graph Refinement)를 도입하여 가짜이거나 작업과 무관한 엣지를 제거하고 누락된 작업 관련 엣지를 추가함으로써 그래프 구조를 다운스트림 목적에 정렬합니다. 마지막으로, GNN은 정제된 그래프에서 메시지 전달(message passing)을 수행하여 예측을 위해 작업 관련 의미론적 의존성을 포착합니다. 다양한 퓨샷 테이블 데이터 학습 벤치마크(benchmark)에 대한 광범위한 실험을 통해 TAROT의 우수한 성능을 입증하였으며, 이를 통해 해당 분야에서 최첨단(SOTA) 접근 방식으로 자리매김했습니다.
사전 적합 네트워크(PFNs)는 문맥 내 학습(in-context learning)을 수행하는 유망한 테이블형 파운데이션 모델의 일종으로, 전체 레이블이 지정된 학습 데이터셋을 컨텍스트로 제공하고 단일 순전파(forward pass)로 테스트 쿼리에 대한 예측을 생성합니다. 그러나 많은 PFN 아키텍처에서 이차적으로 확장되는 셀프 어텐션(self-attention) 메커니즘은 매우 큰 학습 데이터셋에 대한 추론을 불가능하게 만듭니다. 우리는 CRUMB (Clustered Retrieval Using Minimised-MMD Batching)을 제안합니다. 이는 (i) 테스트 쿼리를 클러스터링하고, (ii) 최대 평균 불일치(MMD)를 탐욕적으로 최소화하여 각 클러스터에 대해 분포 매칭된 작은 학습 서브셋을 선택하며, (iii) 각 축소된 컨텍스트 배치에서 정확한 PFN 추론을 실행하는 3단계 추론 래퍼입니다. CRUMB은 아키텍처 무관(architecture-agnostic)이며 재학습이 필요하지 않습니다. 51개 데이터셋의 TabArena 벤치마크에서 세 가지 PFN 아키텍처(TabPFNv2, TabICLv1, TabICLv2)에 걸쳐 평가한 결과, CRUMB이 유사한 최첨단(SOTA) 컨텍스트 선택 전략보다 우수함을 보여줍니다. 또한 CRUMB이 공변량 드리프트(covariate drift)에 강건함을 보여주는데, 이는 MMD 최소화 단계가 학습 컨텍스트 분포를 현재 테스트 배치 분포와 일치하도록 자연스럽게 정렬하는 데 도움을 주기 때문입니다.
TabPFN으로 대표되는 테이블 파운데이션 모델은 문맥 내 학습(in-context learning)을 통해 예측을 수행하며, 레이블이 지정된 학습 예제로부터 직접 테스트 레이블을 추론합니다. 이들은 특히 소규모에서 중규모 데이터셋에서 경쟁력 있는 성능을 보여주었습니다. 그러나 최근 테이블 파운데이션 모델은 종종 점점 복잡해지는 아키텍처로 정확도를 높이며, 이로 인해 더 높은 추론 비용이 발생하고 실제 배포가 제한됩니다. 본 연구에서는 기존 TabPFN 설계를 다시 살펴보고, 가벼운 행 단위 어텐션 전용 백본이 두 가지 간단한 개선을 통해 매우 경쟁력을 유지할 수 있음을 보여줍니다: 전역 컨텍스트를 제공하고 사전학습 품질을 향상시키는 게이트 어텐션 안정화 메커니즘과 소수의 학습 가능한 레지스터 토큰입니다. 결과 모델인 TabSwift는 분류와 회귀를 모두 지원하며, 추론 시 더 효율적이면서도 더 강력한 테이블 파운데이션 모델(예: TabPFN v2 및 TabICL)과 경쟁력을 갖습니다. 지연 시간에 민감한 서빙을 위해, 샘플별로 추론 깊이를 동적으로 조정하는 적응형 층별 조기 종료 메커니즘을 추가로 도입합니다. 전반적으로, TabSwift는 실제 배포를 위한 효율적이고 언제든지 가능한 테이블 문맥 내 학습을 가능하게 합니다.
최근 발전으로 표 형식 학습의 패러다임이 표 형식 기반 모델 쪽으로 이동했지만, 그 정확도는 컨텍스트 크기에 따라 비효율적으로 증가하는 큰 추론 비용에 의존한다. 잘 설계된 아키텍처를 갖춘 심층 신경망은 여전히 매우 경쟁력 있고 더 효율적인 모델링 패러다임으로 남아 있지만, 데이터 적응적이고 예산 인식적인 방식으로 그러한 아키텍처를 식별하는 것은 여전히 어렵다. 우리는 pTNAS를 제안한다. 이는 표 형식 데이터에 맞춤화된 첫 번째 점진적 신경 구조 탐색(NAS) 접근법으로, 유효한 아키텍처를 빠르게 식별하고 더 많은 예산이 가용해질수록 탐색 성능을 지속적으로 향상시킨다. pTNAS는 효율적인 학습 없는(training-free) 평가와 효과적인 학습 기반 아키텍처 평가를 결합한 필터-정제(filter-and-refine) 최적화 전략을 채택한다. 필터링 단계에서, 우리는 표 형식 네트워크를 위해 특별히 설계된 새로운 zero-cost 프록시 pTProxy를 도입한다. 이는 아키텍처의 학습 가능성(trainability)과 표현력(expressivity)을 함께 포착하여 대규모 아키텍처 탐색 공간을 빠르게 필터링할 수 있게 한다. 정제 단계에서 pTNAS는 고정 예산 스케줄링 알고리즘을 사용하여 소수의 유망한 후보 중에서 최고 성능 아키텍처를 정확히 식별한다. 또한 예산 할당을 전체적으로 최적화하는 예산 인식(budget-aware) 조정자를 제안한다. 실험 결과 pTNAS는 다른 NAS 접근법에 비해 전역 최고 아키텍처에 도달하는 시간을 최대 82.75배 줄이고, 최고의 평균 예측 순위를 달성하며, TabPFN에 비해 end-to-end 효율을 최대 4.78배 향상시킨다.