arXiv:2611.24214v1 cs.LG

표 형식 파운데이션 모델을 위한 신뢰할 수 있는 스케일링 법칙을 향하여

Towards Reliable Scaling Laws for Tabular Foundation Models

Johannes Hog, Neeratyoy Mallik, Steven Adriaensen, Jan Hendrik Metzen, Tom Viering, Danny Stoll, Frank Hutter

제출 2026-11-19

한국어 초록

스케일링 법칙은 파운데이션 모델의 성능을 예측하고 연산 자원 할당을 안내하는 데 널리 사용된다. 그러나 표 형식 파운데이션 모델(TFM)은 구성 가능한 분포에서 생성된 사실상 무제한의 합성 데이터로 사전학습되면서도 최종적으로는 실제 데이터셋에서 평가된다는 점에서 기존 파운데이션 모델과 다르다. 본 연구는 TabPFNv2 계열 모델의 스케일링 법칙이 더 큰 연산 예산으로 신뢰성 있게 외삽되는지, 그리고 평가 설정 전반에 일반화되는지를 조사한다. 분석 결과 합성 데이터와 실제 데이터에서의 스케일링 거동에 차이가 있음을 확인했으며, 스케일링 법칙을 정확히 적합하더라도 보지 못한 데이터셋에 대한 신뢰할 만한 처방으로 이어지는 것은 아님을 보인다. 특히 너무 적은 수의 평가 데이터셋으로 구성을 선택하면 성능 추정치가 체계적으로 과도하게 낙관적이 된다. 또한 연산 최적 스케일링을 위해서는 모델 크기 및 학습 연산량과 함께 합성 사전학습 데이터셋 크기의 범위도 확장해야 함을 보인다. 사전학습 중 샘플링되는 행과 특징의 최대 개수를 늘리면 성능이 향상되고 스케일링 추세가 더 예측 가능해진다. 이러한 통찰은 오픈소스 학습 파이프라인인 nanoTabPFN을 사용하여 더 효율적인 TabPFNv2 계열 모델을 학습하는 데 도움이 된다.

원문 초록

Scaling laws are widely used to predict foundation model performance and guide compute allocation. However, tabular foundation models (TFMs) differ from conventional foundation models in that they are pretrained on virtually unlimited synthetic data from configurable distributions, while ultimately being evaluated on real-world datasets. We investigate whether scaling laws for TabPFNv2-style models reliably extrapolate to larger compute budgets and generalize across evaluation settings. Our analysis reveals differences between synthetic and real-world scaling behavior and shows that accurately fitting a scaling law does not necessarily yield reliable prescriptions on unseen datasets. In particular, selecting configurations using too few evaluation datasets leads to systematically over-optimistic performance estimates. We further demonstrate that compute-optimal scaling requires expanding the range of synthetic pretraining dataset sizes alongside model size and training compute. Increasing the maximum numbers of rows and features sampled during pretraining improves performance and produces more predictable scaling trends. These insights guide the training of more efficient TabPFNv2-like models, using the open-source training pipeline of nanoTabPFN.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24214v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.