arXiv:2609.26962v1 cs.LG

CRISP: 불균형 표형 데이터 학습을 위한 확장 가능한 중요도 계층화 코어셋

CRISP: Scalable Importance-Stratified Coresets for Imbalanced Tabular Learning

Hardhik Mohanty, Indrayana Rustandi, Mohamadreza Sheibani

제출 2026-09-24

한국어 초록

대규모 불균형 표형(tabular) 데이터셋은 그래디언트 부스팅 트리를 반복 학습하는 비용을 크게 만든다. 기존 코어셋(coreset) 방법은 다수 클래스 예시의 대부분을 제거할 때 정확도를 자주 잃는다. 우리는 CRISP(Coreset Reduction via Importance-Stratified Pruning, 중요도 계층화 가지치기를 통한 코어셋 축소)를 제안한다. 이는 프록시 모델 점수의 분위(quantile) 계층에 걸쳐 negative-class 예산을 배분하는 선형 시간 방법이다. 샘플 가중치는 불균등한 포함 확률을 반영한다. 프로덕션 사기(fraud) 데이터셋에서 negative-class를 95% 축소할 때, CRISP는 2,500만 행 중 약 170만 행으로 학습하며 전체 데이터 Average Precision의 99.7%를 유지한다. 이는 총 학습 행 수 93.2% 감소에 해당한다. 공개 CriteoPrivateAds에서는 다수 클래스 축소율 90%부터 99.4%까지 시험한 모든 비율에서 CRISP가 평균 Average Precision이 가장 높다. Sparkov에서는 낮은 축소율에서 결과가 엇갈리지만, 99.2% 및 99.4%에서 평균이 가장 높다. ablation은 예산 배분과 역성향(inverse-propensity) 가중치가 프로덕션 데이터셋 성능 향상의 주요 원인임을 밝힌다.

원문 초록

Large imbalanced tabular datasets make repeated gradient-boosted tree training expensive. Existing coreset methods often lose accuracy when most majority examples are removed. We present CRISP (Coreset Reduction via Importance-Stratified Pruning), a linear-time method that allocates a negative-class budget across quantile strata of a proxy-model score. Sample weights account for unequal inclusion probabilities. At 95% negative-class reduction on a production fraud dataset, CRISP trains on approximately 1.70M of 25M rows and retains 99.7% of full-data Average Precision. This is a 93.2% reduction in total training rows. On public CriteoPrivateAds, CRISP has the highest mean Average Precision at each tested rate from 90% to 99.4% majority reduction. Sparkov results are mixed at lower rates, but CRISP has the highest mean at 99.2% and 99.4%. Ablations identify budget allocation and inverse-propensity weighting as the main sources of the production-dataset gain.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26962v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.05786v4cs.LG공통 태그 Binary Classification, gradient boosting

트리 부스팅을 위한 하이퍼파라미터 선택

Selecting Hyperparameters for Tree-Boosting

트리 부스팅은 표 형식(tabular) 데이터에 널리 사용되는 기계학습 기법이다. 그러나 표본 외(out-of-sample) 정확도는 여러 하이퍼파라미터에 크게 의존한다. 본 논문에서는 $59$개의 회귀 및 이진 분류 데이터셋을 사용하여, 무작위 그리드 탐색(random grid search), 트리 구조 파르센 추정기(tree-structured Parzen estimator, TPE), 가우스 과정 기반 베이지안 최적화(Gaussian-process-based Bayesian optimization, GP-BO), Hyperband, 순차 모델 기반 알고리즘 구성(sequential model-based algorithm configuration, SMAC) 방법, 결정적 전체 그리드 탐색(deterministic full grid search)을 포함한 트리 부스팅을 위한 여러 인기 하이퍼파라미터 최적화(optimization) 방법을 실증적으로 비교한다. SMAC 방법은 평균적으로 고려된 다른 모든 방법을 명확히 능가하며, 고정된 튜닝 예산 하에서 다양한 표 형식 데이터셋 전반에 걸쳐 안정적인 성능을 제공한다. 이는 광범위한 수동 시행착오 튜닝을 감당할 수 없는 사용자에게 중요한 의미를 갖는다. 또한 (i) 정확한 튜닝을 위해서는 일반적으로 $100$회를 넘는 상대적으로 많은 시행(trial)이 필요하다, (ii) 하이퍼파라미터의 기본값을 사용하거나 작은 그리드에 대한 전체 탐색을 수행하는 것은 종종 매우 부정확한 모델을 초래한다, (iii) 고려된 모든 하이퍼파라미터가 트리 부스팅의 정확도에 실질적인 영향을 미칠 수 있으며, 즉 다른 것들보다 더 중요한 소수의 하이퍼파라미터 집합은 존재하지 않는다, (iv) 회귀 작업에서 부스팅 반복 횟수를 탐색 공간에 포함하는 것보다 조기 종료를 사용하여 선택하는 것이 더 정확한 결과를 낳는다.

arXiv:2609.27877v1nlin.CD공통 태그 Binary Classification, gradient boosting

혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배

Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics

혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.

arXiv:2607.07935v1cs.LG공통 태그 Binary Classification, gradient boosting

path_boost: 경로 기반 그래디언트 부스팅을 활용한 해석 가능한 그래프 수준 예측을 위한 Python 패키지

path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

우리는 그래프 구조 입력 데이터에 대한 해석 가능한 지도 학습을 위한 Python 패키지인 path_boost를 소개한다. 이 패키지는 학습 과정에서 그래프 내의 예측력 있는 레이블 경로를 자동으로 발견하는 그래디언트 부스팅 알고리즘인 PathBoost를 구현한다. 일반적으로 해석이 어려운 그래프 신경망(GNN)과 달리, PathBoost는 어떤 하위 구조가 예측을 이끄는지 명시적으로 드러내는 경로 기반 특징에 대한 가산 예측 모델을 생성한다. 가능한 모든 경로의 전수 열거를 피하기 위해, 이 알고리즘은 학습 중 예측력을 기반으로 경로를 반복적으로 선택하고 확장하며, 부스팅을 사용하여 약한 학습기들을 강력한 앙상블로 결합한다. 이 패키지는 회귀와 이진 분류를 모두 지원한다. 주요 기능으로는 scikit-learn 워크플로와의 호환성, 사용자 정의 기본 학습기 및 선택기 지원, 자동 시작 노드 선택, 앵커 노드 전반에 걸친 병렬 학습, 내장된 변수 중요도 계산이 포함된다. 우리는 원자가 노드로, 결합이 에지로 기능하는 전이 금속 화합물의 분자 특성 예측에 PathBoost를 적용하고, 여섯 개의 분자 데이터셋에서 기존의 그래프 신경망 및 그래프 커널 방법과 PathBoost를 추가로 벤치마크한다. 이 패키지는 오픈소스 라이선스 하에 PyPI와 GitHub에서 이용 가능하다.

arXiv:2506.21002공통 태그 Binary Classification공식 코드 · Papers with Code

Inverse Scene Text Removal

토론

이 논문과 연결된 포럼 글이 아직 없습니다.