트리 부스팅은 표 형식(tabular) 데이터에 널리 사용되는 기계학습 기법이다. 그러나 표본 외(out-of-sample) 정확도는 여러 하이퍼파라미터에 크게 의존한다. 본 논문에서는 $59$개의 회귀 및 이진 분류 데이터셋을 사용하여, 무작위 그리드 탐색(random grid search), 트리 구조 파르센 추정기(tree-structured Parzen estimator, TPE), 가우스 과정 기반 베이지안 최적화(Gaussian-process-based Bayesian optimization, GP-BO), Hyperband, 순차 모델 기반 알고리즘 구성(sequential model-based algorithm configuration, SMAC) 방법, 결정적 전체 그리드 탐색(deterministic full grid search)을 포함한 트리 부스팅을 위한 여러 인기 하이퍼파라미터 최적화(optimization) 방법을 실증적으로 비교한다. SMAC 방법은 평균적으로 고려된 다른 모든 방법을 명확히 능가하며, 고정된 튜닝 예산 하에서 다양한 표 형식 데이터셋 전반에 걸쳐 안정적인 성능을 제공한다. 이는 광범위한 수동 시행착오 튜닝을 감당할 수 없는 사용자에게 중요한 의미를 갖는다. 또한 (i) 정확한 튜닝을 위해서는 일반적으로 $100$회를 넘는 상대적으로 많은 시행(trial)이 필요하다, (ii) 하이퍼파라미터의 기본값을 사용하거나 작은 그리드에 대한 전체 탐색을 수행하는 것은 종종 매우 부정확한 모델을 초래한다, (iii) 고려된 모든 하이퍼파라미터가 트리 부스팅의 정확도에 실질적인 영향을 미칠 수 있으며, 즉 다른 것들보다 더 중요한 소수의 하이퍼파라미터 집합은 존재하지 않는다, (iv) 회귀 작업에서 부스팅 반복 횟수를 탐색 공간에 포함하는 것보다 조기 종료를 사용하여 선택하는 것이 더 정확한 결과를 낳는다.
Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce DataFoundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that current open-source tabular foundation models are competitive or excel on datasets up to 100k rows, while traditional tree-based and deep learning models still dominate on grouped or large data. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.