PyTorchKR Papers

최신 논문

총 21편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.05786v4cs.LG

트리 부스팅을 위한 하이퍼파라미터 선택

Selecting Hyperparameters for Tree-Boosting

트리 부스팅은 표 형식(tabular) 데이터에 널리 사용되는 기계학습 기법이다. 그러나 표본 외(out-of-sample) 정확도는 여러 하이퍼파라미터에 크게 의존한다. 본 논문에서는 $59$개의 회귀 및 이진 분류 데이터셋을 사용하여, 무작위 그리드 탐색(random grid search), 트리 구조 파르센 추정기(tree-structured Parzen estimator, TPE), 가우스 과정 기반 베이지안 최적화(Gaussian-process-based Bayesian optimization, GP-BO), Hyperband, 순차 모델 기반 알고리즘 구성(sequential model-based algorithm configuration, SMAC) 방법, 결정적 전체 그리드 탐색(deterministic full grid search)을 포함한 트리 부스팅을 위한 여러 인기 하이퍼파라미터 최적화(optimization) 방법을 실증적으로 비교한다. SMAC 방법은 평균적으로 고려된 다른 모든 방법을 명확히 능가하며, 고정된 튜닝 예산 하에서 다양한 표 형식 데이터셋 전반에 걸쳐 안정적인 성능을 제공한다. 이는 광범위한 수동 시행착오 튜닝을 감당할 수 없는 사용자에게 중요한 의미를 갖는다. 또한 (i) 정확한 튜닝을 위해서는 일반적으로 $100$회를 넘는 상대적으로 많은 시행(trial)이 필요하다, (ii) 하이퍼파라미터의 기본값을 사용하거나 작은 그리드에 대한 전체 탐색을 수행하는 것은 종종 매우 부정확한 모델을 초래한다, (iii) 고려된 모든 하이퍼파라미터가 트리 부스팅의 정확도에 실질적인 영향을 미칠 수 있으며, 즉 다른 것들보다 더 중요한 소수의 하이퍼파라미터 집합은 존재하지 않는다, (iv) 회귀 작업에서 부스팅 반복 횟수를 탐색 공간에 포함하는 것보다 조기 종료를 사용하여 선택하는 것이 더 정확한 결과를 낳는다.

arXiv:2610.05196v2cs.LG

일치된 적격성 조건에서 학습된 단조 시계열 집계의 성능 측정

Measuring Learned Monotone Temporal Aggregation at Matched Admissibility

리스크 규제는 점수에 방향성 제약을 부과하며, 본 연구에서는 엄격한 입력별 형태(모든 익스포저 입력에 대해 점수가 단조 비감소하는 형태)를 규범적 약정으로 채택합니다. 이미 배포된 파이프라인(부호 제약 그래디언트(gradient) 부스팅으로 전달되는 단조 수작업 집계)은 결합을 통해 이를 이미 만족하므로, 제약 모델과 비제약 모델 간의 비교는 기존 파이프라인이 이미 무상으로 확보하고 있는 보장에 비용을 매기는 셈이 됩니다. 이에 따라 본 연구는 양측 모두에서 적격성을 일정하게 유지한 채 집계를 학습하는 것의 가치를 측정합니다. 본 연구의 도구는 상태가 고전적 리스크 통계량(지수 가중 이동 평균 및 학습된 변환을 갖춘 하이워터 마크)으로 구성된 순환 신경망으로, 구조적으로 모든 입력 및 MC-드롭아웃(dropout) 샘플마다 단조성을 만족합니다. 함수형 회귀를 통한 핵심 발견은 포섭 경계(subsumption boundary)입니다. 학습된 단조 채널은 수작업 통계량의 기하 가중 분리 가능 군을 구성원당 하나의 채널을 통해 스피어만 $ρ\ge 0.996$ 수준으로 재현하고, 측정 가능한 상한 내에서 윈도우 통계량을 근사하지만, 구조적 한계인 연속성($ρ= 0.924$) 및 시간 국소화(0.628), 그리고 학습 가능성 한계인 익스포저 하한(0.829)에서는 실패합니다. 하나의 명시적인 적격 기저는 각 실패를 보완합니다(순위 상관관계 1.000). 분리 가능 군 내부 또는 근처에서는 학습된 집계와 엔지니어링된 집계가 서로 대체 가능하며, 학습된 채널은 전체 표본 크기와 지정된 용량에서 통계적으로 결코 뒤처지지 않습니다. 학습된 채널의 이점은 기존 파이프라인별로 특화되어 나타납니다. 고정된 그리드는 커버하지 못하는 감쇠 영역에서 최대 0.019 AUC 손실을 초래하는 반면(학습된 채널은 모든 탐색 지점에서 가장 강력한 엔지니어링 소비자 대비 0.004 이내를 유지함), 가장 고차원인 비교 대상은 데이터가 부족할 때 가장 빠르게 성능이 저하되며, 학습(training) 서포트 외부에서는 그리드 기반 트리 앙상블(ensemble) 점수가 평탄해지는 반면 엄격하게 증가하는 헤드는 순위 매김을 지속합니다. 세 가지 축 모두에서 단일 기존 모델이 완전히 지배당하지는 않습니다.

arXiv:2610.01994v1cs.CV

산불 탐지를 위한 그래디언트 부스팅(gradient boosting) 알고리즘과 GOES FDC의 비교

Comparing a gradient boosting algorithm to the GOES FDC for wildfire detection

산불은 인명, 생태계, 재산에 심각한 위험을 초래합니다. 본 연구는 GOES ABI 영상으로부터 산불을 탐지하기 위한 머신러닝(machine learning) 접근법을 제시합니다. 수천 장의 ABI 영상과 30만 건 이상의 일치하는 VIIRS 산불 탐지 데이터를 포함하는 대규모 데이터셋(dataset)으로 CatBoost 모델(model)을 학습(training)했습니다. 5개 지역에 걸친 별도의 데이터셋에 대한 평가(evaluation) 결과, 학습된 CatBoost 모델은 실제 운영 중인 GOES FDC(Fire Detection and Characterization) 산출물보다 우수한 성능을 보였습니다. 해당 모델은 학습 영역 내부와 외부 모두에서 더 높은 정밀도(precision), 재현율(recall), F1 점수를 달성했습니다. CatBoost 모델은 모든 지역에서 GOES FDC보다 0.16에서 0.38 더 높은 F1 점수를 기록했습니다. 또한 51건의 과거 산불 사례 중 CatBoost는 VIIRS 및 GOES FDC보다 먼저 26건의 산불을 탐지한 반면, GOES FDC가 더 일찍 탐지한 사례는 6건에 불과했습니다. 중요한 점은 GOES FDC가 약 0.03의 매우 낮은 재현율 값을 얻은 반면, CatBoost 모델은 야간에도 정확한 산불 탐지를 달성했다는 것입니다. 본 연구는 머신러닝 모델이 더 높은 정확도, 더 적은 오경보, 조기 탐지를 포함하여 기존 정지궤도 위성 산불 산출물 대비 상당한 개선을 제공할 수 있음을 보여줍니다.

arXiv:2609.28122v1stat.ML

NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process

NPBoost: Neural Processes with Gradient-Boosted Fixed Effects

Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.

arXiv:2609.27912v1cs.LG

글로벌 트리 예측 모델은 계층적 집계 수준에서 붕괴한다: 다섯 개 패널에 대한 실패 특성 분석

Global tree forecasters collapse at the hierarchical aggregate: a five-panel failure characterization

글로벌 예측 모델(global forecasting model)은 다수의 시계열을 풀링(pooling)하여 하나의 공유 함수를 학습한다. 그래디언트 부스팅 트리(Gradient-boosted trees)가 가장 널리 쓰이는 형태이다. 본 연구는 우리가 아는 한 아직 문서화된 적 없는 이 설계의 실패를 측정한다. 계층 구조의 개별 시계열로 글로벌 트리를 학습시킨 뒤 계층적 집계값(hierarchical aggregate)에 대한 예측을 요청하면, 집계값은 모델의 학습 범위를 크게 벗어나 있어 예측이 붕괴한다. 이 모델은 실제 운영 환경에서 총합을 30~50배 과소 예측하며, 공개 M5 재구성 데이터에서는 최대 496배까지 과소 예측한다. 그 메커니즘은 이미 알려져 있다. 트리는 학습 범위를 벗어나면 상수를 예측한다. 이것이 집계 수준에서 나타나는 이유는 총합이 모든 학습 시계열을 압도하기 때문이다. 해결책 또한 새로운 것이 아니다. Montero-Manso와 Hyndman(2021)이 권장하는 전처리 단계인 시계열별 스케일링(per-series scaling)은 붕괴를 방지한다. 가중치를 부여한 집계 수준 학습 행(weighted aggregate-level training row)과 계절 차분(seasonal differencing) 역시 마찬가지이다. 본 연구의 기여는 이 현상의 특성 분석에 있다. 붕괴는 운영 중인 기업 간 거래(B2B) 마켓플레이스, 합성 계층 구조, M5, Australian Tourism, 공개 비즈니스 구매자 패널이라는 다섯 개 패널에서 재현된다. 이는 세 가지 트리 라이브러리에서 성립하고, 학습 시드(seed)에 관계없이 일정하며, 통계적으로 유의하다. 붕괴는 즉각적으로 시작되며 단순한 지지 범위(support) 한계를 따른다. 스케일 격차가 겨우 1.15배만 되어도 이미 총합의 3분의 1을 잃는다. 표준적인 설정 변경으로는 이를 막을 수 없다. 모든 계층 수준을 학습에 풀링하는 방식은 대규모에서 실패하며, 리프(leaf)에 선형 모델을 적합하는 유일한 설정 옵션은 붕괴를 완화하지만 해소하지는 못한다. 예측을 재귀적으로 앞으로 굴리는(rolling forward) 실험은 해결책들을 구분해 준다. 집계 행 방식은 다시 붕괴하고, 시계열별 스케일링은 성능이 저하되지만 낮은 수준에 머물며, 오직 계절 차분만이 1단계(one-step) 예측 정확도를 그대로 유지한다. 마지막으로 운영 중인 시스템에서 이 실패를 진단하고 예방하기 위한 3단계 절차를 제시한다.

arXiv:2609.27877v1nlin.CD

혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배

Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics

혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.

arXiv:2609.26962v1cs.LG

CRISP: 불균형 표형 데이터 학습을 위한 확장 가능한 중요도 계층화 코어셋

CRISP: Scalable Importance-Stratified Coresets for Imbalanced Tabular Learning

대규모 불균형 표형(tabular) 데이터셋은 그래디언트 부스팅 트리를 반복 학습하는 비용을 크게 만든다. 기존 코어셋(coreset) 방법은 다수 클래스 예시의 대부분을 제거할 때 정확도를 자주 잃는다. 우리는 CRISP(Coreset Reduction via Importance-Stratified Pruning, 중요도 계층화 가지치기를 통한 코어셋 축소)를 제안한다. 이는 프록시 모델 점수의 분위(quantile) 계층에 걸쳐 negative-class 예산을 배분하는 선형 시간 방법이다. 샘플 가중치는 불균등한 포함 확률을 반영한다. 프로덕션 사기(fraud) 데이터셋에서 negative-class를 95% 축소할 때, CRISP는 2,500만 행 중 약 170만 행으로 학습하며 전체 데이터 Average Precision의 99.7%를 유지한다. 이는 총 학습 행 수 93.2% 감소에 해당한다. 공개 CriteoPrivateAds에서는 다수 클래스 축소율 90%부터 99.4%까지 시험한 모든 비율에서 CRISP가 평균 Average Precision이 가장 높다. Sparkov에서는 낮은 축소율에서 결과가 엇갈리지만, 99.2% 및 99.4%에서 평균이 가장 높다. ablation은 예산 배분과 역성향(inverse-propensity) 가중치가 프로덕션 데이터셋 성능 향상의 주요 원인임을 밝힌다.

arXiv:2606.19329v2astro-ph.IM

Chandra-Gaia 대응 천체 카탈로그: 머신러닝으로 Chandra 소스 카탈로그의 X-ray 소스에 대한 모호한 Gaia 매칭 해소

The Chandra-Gaia Catalog of Counterparts: Resolving ambiguous Gaia matches to X-ray sources in the Chandra Source Catalog using Machine Learning

Chandra 소스 카탈로그(CSC v2.1)의 소스와 Gaia Data Release 3의 광학 소스를 교차 매칭하는 프레임워크를 제시한다. 순수 공간(위치) 기반 접근과 달리, 등급(magnitude), 색(color), 거리(distance) 등 소스 물성을 이용해 진짜 대응 천체(counterpart)를 식별하고, 우연 일치(chance coincidence)를 탐지하며, 그럴듯한 후보가 여러 개일 때의 모호성을 해소한다. 위치 오차와 소스 밀도를 반영하는 베이지안 교차 매칭 프레임워크 NWAY로 고신뢰 매칭의 학습(training) 집합을 정의하고, 두 카탈로그의 다양한 특징으로 그래디언트 부스팅 분류기(LightGBM)를 학습한다. 고유 X-ray 소스 약 25.4만 개 가운데 약 11.3만 개의 대응 천체를 찾았고, 그중 약 7천 개는 그럴듯한 복수 대응 천체가 있다. 분리(separation) 기반 교차 매칭에서는 매칭이 나오지만 본 연구에서는 대응 천체를 찾지 못한 소스가 약 2만 개이며, 이 중 절반은 우연 일치로 돌린다. Chandra Orion Ultradeep Project(COUP)에서 파이프라인을 검증했고, 위치 정보를 전혀 쓰지 않은 머신러닝 매칭이 NWAY 교차 매칭의 95%를 재현한다. Chandra와 Gaia 모두에서 검출 가능한 소스의 향후 집단 연구를 위해 약 11.3만 개 Chandra-Gaia 대응 천체 카탈로그와 함께 약 7천 개의 대안 매칭, 약 2만 개의 모호한 NWAY 연관(association)을 공개한다. 한계를 논의하고, 다른 교차 매칭 시나리오에도 적용 가능한 프레임워크 일반화를 제시한다.

arXiv:2607.13550v1stat.ML

조건부 분포의 유연한 추정을 위한 병렬 그래디언트 부스팅

Parallel gradient boosting for flexible estimation of conditional distributions

부스팅은 표준 분류 및 회귀 작업에서 가장 성공적인 학습 기법 중 하나이다. 다중 출력 예측 문제로의 확장은 최근 몇 년간 점점 더 많은 응용을 찾고 있다. 그중 하나는 단일 함수형량이 아닌 전체 조건부 분포의 예측이며, 이는 종종 다중 출력 회귀 문제로 표현될 수 있다. 예를 들어 다중 분위수 회귀(multiple quantile regression)가 그렇다. 이러한 문제를 부스팅의 고전적 구현으로 다루는 것은 계산적으로 어렵다. 왜냐하면 보통 매 반복마다 각 목표(target)마다 하나의 기저 모델을 학습하기 때문이다. 학습 속도를 높이기 위해 더 효율적인 부스팅 변형들이 제안되었지만, 이들은 특정 손실 함수와 기저 학습기(base learner) 클래스, 보통 의사결정 트리에 종속되는 경향이 있다. 본 연구에서는 이러한 한계를 모두 우회하도록 설계된, 그래디언트 부스팅 알고리즘의 수정 버전인 병렬 그래디언트 부스팅(parallel gradient boosting)을 연구한다. 핵심 아이디어는 모든 학습 관측치에 대해 공통의 하강 방향(descent direction)을 사용하는 것이다. 이를 통해 목표의 수와 관계없이 각 반복마다 하나의 기저 모델만 필요하므로 상당한 성능 향상을 얻을 수 있다. 본 연구는 알고리즘의 수렴에 대한 충분 조건을 확립하며, 다중 분위수 회귀 설정을 통해 실용적 사용을 소개한다. 이러한 설정에서 본 방법은 XGBoost와 같은 최신 부스팅 라이브러리와 유사한 품질의 예측을 제공하면서도 수량급으로 더 빠름을 보인다. 그다음, 우리는 결과적으로 얻어지는 조건부 분포 추정량의 성질을 평가하며, 이 추정량은 특히 고차원 설정과 혼합 및/또는 결측 공변량이 존재하는 경우 다른 비모수 및 준모수 추정량들보다 우수함이 경험적으로 입증된다.

arXiv:2607.12726v1hep-ph

물리적으로 일관된 매개변수 추론: 고에너지 물리학과 우주론에서의 투명한 머신러닝 에뮬레이션

Physically Consistent Parameter Inference: Transparent Machine Learning Emulation in High Energy Physics and Cosmology

고에너지 물리학과 우주론에서의 전역 피팅(global fits)은 계산 비용이 큰 또는 위상적으로 복잡한 가능도 함수를 사용하여 고차원 매개변수 공간을 탐색해야 하는 과제에 자주 직면한다. 본 연구에서는 그래디언트 부스팅 회귀 트리(gradient-boosted regression trees, XGBoost)를 사용하여 복잡하고 종종 비가우시안(non-Gaussian)인 가능도 지형을 에뮬레이션하도록 설계된 머신러닝 프레임워크를 제시한다. 머신러닝 접근법이 계산 효율성과 신뢰 구역(confidence region) 해상도 측면에서 갖는 장점, 특히 복잡한 상관관계나 "곡선형" 퇴화(curved degeneracy)가 있는 시나리오에서의 장점을 논의한다. 이 방법론을 반렙톤성 $B$ 메손 붕괴에서의 풍미 이상(flavour anomalies)에 대한 최근 분석에 적용하여 검증하고, 액시온 유사 입자(axion-like particles)나 우주론 전역 피팅과 같은 다른 현상론적 시스템에 대한 이 프레임워크의 적응 가능성을 논의한다. 마지막으로 SHAP(Shapley Additive exPlanations) 값을 활용하여 특징 중요도에 대한 투명한 분석을 제공하며, 머신러닝 예측이 물리적으로 해석 가능하고 기저 물리학과 일관되게 유지되도록 한다.

arXiv:2607.11899v1physics.ao-ph

미국 고고도 맑은 공기 난기류(CAT) 예측 모델링: 기계학습 접근법

Predictive Modeling of High-Altitude Clear Air Turbulence in the United States: A Machine Learning Approach

고고도 맑은 공기 난기류(CAT)는 예측하기 어렵고 탐지에 어려움이 있어 항공 안전에 상당한 위험을 초래한다. 본 연구는 미국 영공 내 200–350 hPa 압력면에서 CAT 예측을 개선하기 위해 기계학습 모델을 활용하며, 조종사 보고(PIREPs), ERA5 재분석 데이터, BADA 데이터베이스의 항공기 공력학 파라미터를 사용한다. 그래디언트 부스팅 알고리즘, 특히 XGBoost가 AUC 0.904로 최고 성능을 달성하여 비선형 대기 역학을 포착하는 능력이 뛰어남을 보여준다. 주요 결과는 예측에서 지리 좌표(특징 중요도 17.5%)와 TI3 같은 난기류 지수의 지배적 역할을 강조하며, 지역 지형과 대류권 상부 불안정성의 역할을 부각한다. 항력(drag force)과 날개 하중(wing loading) 같은 공력학적 특징의 통합은 중등도에서 심각한 체감 난기류 강도 탐지를 개선했으며(탐지 확률(POD)이 0.845에서 0.866으로 향상), 기존 항공기 독립적 방법에 추가적 가치를 제공한다. 계절 분석은 CAT 사고가 겨울철에 정점을 이루며 제트기류 활동과 상관됨을 밝혔다. 결과는 글로벌 연구와 일치하지만, 지리적 범위와 항공기 유형 다양성 등의 한계가 있다. 본 연구는 운용 CAT 예보를 위한 기계학습의 잠재력을 강조하며, 기후 변화에 따른 난기류 추세를 다루기 위한 글로벌 데이터 통합과 실시간 원격 측정(real-time telemetry)에 중점을 둔 향후 연구를 권고한다.

arXiv:2607.10260v1cs.LG

데이터 기반 통신 마케팅 최적화: 머신러닝 기반 이탈 예측 및 고객 세분화 프레임워크

Data-Driven Telecom Marketing Optimization: A Machine Learning-Based Churn Prediction and Customer Segmentation Framework

고객 이탈은 통신사가 직면한 주요 과제로, 매출과 장기적인 고객 관계를 직접적으로 잠식한다. 기존 고객 유지 프로그램은 개인화되지 않은 일반적인 인센티브에 의존하며, 고객이 떠나기 전에 고위험 고객을 식별하는 정밀도가 부족하다. 본 논문은 머신러닝 기반 이탈 예측, 이탈 위험과 고객 가치를 결합한 고객 세분화, 그리고 세그먼트별로 맞춤화된 마케팅 및 투자 수익률(ROI) 전략을 통합한 데이터 기반 마케팅 최적화 프레임워크를 제시한다. 7,043명의 고객과 21개의 피처로 구성된 IBM Telco Customer Churn 데이터셋을 활용하여, XGBoost, LightGBM, CatBoost 세 가지 그래디언트 부스팅 앙상블 모델을 계층화된 5-폴드 교차 검증, 클래스 가중치 부여, F1 점수 기반 결정 임계값 최적화를 적용한 랜덤 탐색으로 학습 및 튜닝하였으며, 이를 통해 73.4% 대 26.6%의 클래스 불균형 문제에 대응하였다. CatBoost가 배포 모델로 선정되어 보류 테스트 세트에서 정확도 77.68%, F1 점수 0.6366, PR AUC 0.6553, ROC AUC 0.8403을 달성하였다. 고객은 K-Means 클러스터링으로 분할되었으며, 엘보우 방법으로 검증하고 주성분 분석(PCA)으로 시각화하여 고가치, 중가치, 저가치 세그먼트로 구분한 뒤, 이탈 위험 레이블과 교차 집계하여 네 가지 실행 가능한 클러스터를 정의하였다. 각 클러스터별 고객 유지, 업셀, 참여 전략이 설계되었으며, 이론적 ROI 및 고객 생애 가치(CLV) 프레임워크를 통해 제안된 개입의 재무적 영향을 정량화하였다. 파이프라인은 마케팅 팀이 데이터를 업로드하고 세그먼트별로 필터링하며 SHAP을 통해 이탈 요인을 시각화하고 자동화된 세그먼트 보고서를 다운로드할 수 있는 대화형 Streamlit 웹 애플리케이션으로 운영화되었다. 실험 결과, 예측적 이탈 모델링과 가치 인식 세분화를 결합하면 이탈 예측 단독 방식보다 더 실행 가능하고 수익성 높은 마케팅 의사결정이 가능함을 확인하였다.

arXiv:2607.09371v1stat.ML

스펙트럴 디컨파운딩 그래디언트 부스팅

Spectrally Deconfounded Gradient Boosting

유연한 머신러닝 방법은 숨겨진 교란(hidden confounding)에 민감할 수 있다: 이러한 방법은 안정적인 신호가 아닌 관측되지 않은 교란 변수에 의해 유도된 연관성을 학습할 수 있다. 스펙트럴 디컨파운딩(spectral deconfounding)은 밀집 교란(dense confounding) 하에서 잠재 교란 변수 정보를 담고 있는 공변량 행렬의 고분산 방향을 수축시킴으로써 이 문제를 완화한다. 기존 연구는 주로 선형 모델에 집중해 왔다. 우리는 그래디언트 부스팅을 위한 비선형 스펙트럴 디컨파운딩 프레임워크를 개발한다. 우리의 접근 방식은 일반적인 제곱 오차 손실을 스펙트럴 손실로 대체하며, 이는 교란에 정렬된 방향에서의 학습을 늦춤으로써 부스팅 다이나믹스를 변경한다. 디컨파운딩은 스펙트럴 손실만으로는 달성되지 않으며, 스펙트럴 수축과 정규화 간의 상호작용, 특히 조기 종료 측면에서의 상호작용에 의해 달성됨을 보인다. 또한, LAVA형 수축을 랜덤 효과 조정(random-effects adjustment)과 연결하고 스펙트럴 손실 튜닝을 위한 경험적 베이즈(empirical-Bayes) 절차를 도출하는 혼합 모델 해석을 제공한다. 라플라스 근사(Laplace approximations)와 커널 랜덤 효과를 활용하여 방법을 일반 우도 및 비선형 교란으로 확장한다. 합성 및 실제 데이터 실험 전반에 걸쳐, 스펙트럴 디컨파운딩 부스팅은 숨겨진 교란 하에서 목적 함수의 추정을 개선하며, 기존의 비선형 스펙트럴 디컨파운딩 베이스라인보다 확장성이 현저히 뛰어나다.

arXiv:2607.07935v1cs.LG

path_boost: 경로 기반 그래디언트 부스팅을 활용한 해석 가능한 그래프 수준 예측을 위한 Python 패키지

path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

그래프 신경망(GNN)의 해석 가능성 문제를 해결하기 위해, PathBoost는 학습 과정에서 예측력 있는 경로(path)를 반복적으로 선택·확장하는 그래디언트 부스팅 기반의 해석 가능한 그래프 수준 예측 알고리즘이다. 이를 구현한 오픈소스 Python 패키지 path_boost는 scikit-learn 호환성, 병렬 학습, 변수 중요도 계산을 지원하며, 전이 금속 화합물 분자 특성 예측 및 여섯 개 분자 데이터셋 벤치마크에서 GNN 및 그래프 커널 방법과 경쟁력 있는 성능을 보였다.

arXiv:2607.04648v1cs.LG

우울증 스크리닝 및 개입을 위한 머신러닝: 일주기 리듬 점수 기반 독자적 방법론

Machine Learning for Depression Screening and Intervention: an Original Circadian Rhythm Score-based Methodology

다중 도메인 일상 행동(수면, 낮잠, 신체활동, 사회적 활동)을 단일 표현으로 압축하는 일주기 리듬 점수(CRS)를 제안하고, 이를 그래디언트 부스팅 트리와 SHAP 분석에 결합한 해석 가능한 우울증 스크리닝 프레임워크를 구축하였다. CHARLS(n=15,233) 데이터셋에서 ROC-AUC 0.825를 달성하였으며, 반사실적 회귀를 통해 주당 300 MET-분의 최소 유효 운동량과 65분의 최적 낮잠 시간 등 개입 가능한 행동 임계값을 도출하였다.

arXiv:2606.29326v1stat.ML

Gradient boosting with vector-valued leafs

기존 그래디언트 부스팅 프레임워크를 벡터 입력 목적함수로 확장하여, 다중 클래스 분류의 다항 로지스틱 로그-우도처럼 각 관측값이 클래스별 점수 벡터를 필요로 하는 경우에 대각 근사 Hessian 대신 실제 Hessian을 활용하는 알고리즘을 제안한다. 이 방법은 히스토그램 기반 결정 트리에서 효율적으로 동작하며, XGBoost·LightGBM·CatBoost 등 기존 프레임워크의 근사 방식보다 최적화 측면에서 더 정확한 리프 값 갱신을 가능하게 한다.

arXiv:2511.00217v2stat.ML

그래디언트 부스팅 혼합 모델: 군집 데이터의 평균 및 분산 성분에 대한 유연한 추정

Gradient Boosted Mixed Models: Flexible Estimation of Mean and Variance Components for Clustered Data

군집 데이터(clustered data)를 위한 그래디언트 부스팅 혼합 모델(GBMixed) 프레임워크를 제안하며, 가능도 기반 그래디언트를 통해 선형 혼합 모델의 고정 효과, 임의 효과 공분산 행렬, 잔차 분산을 공변량에 따라 유연하게 동시 추정한다. 모의실험 및 실제 데이터셋 적용을 통해 GBMixed가 복잡한 비선형 구조를 정확히 복원하고, 모수적 선형 혼합 모델, NGBoost, GPBoost 대비 점 예측 및 확률적 예측 성능을 향상시킴을 입증한다.

arXiv:2606.26337v1cs.LG

EMA-FS: 분할 이득 정보 기반 특징 스크리닝을 통한 GBDT 학습 가속

EMA-FS: Accelerating GBDT Training via Gain-Informed Feature Screening

LightGBM GBDT 학습 시간의 대부분을 차지하는 특징별 히스토그램 구성 비용을 줄이기 위해, 부스팅 반복마다 특징별 분할 이득의 지수 이동 평균(EMA)으로 상위 K개 특징만 선별하는 EMA-FS를 제안한다. 밀집·중고차원 데이터에서는 500특징 합성 벤치마크에서 2.61배, IEEE-CIS Fraud에서 30% 유지 시 1.45배 속도 향상을 보였고, 70% 유지율에서는 AUC 0.11포인트 개선과 1.34배 가속을 함께 달성했다.

arXiv:2606.25494v1math.PR

커널 그래디언트 흐름과 미소 그래디언트 부스팅에 대한 함수형 중심극한정리

A functional central limit theorem for kernel gradient flow and infinitesimal gradient boosting

미소 그래디언트 부스팅의 대표본 분석(Dombry and Duchamps, 2024b)을 기반으로, 우리는 과정이 결정론적 극한 주변에서 보이는 요동을 연구하고 함수형 중심극한정리를 확립한다: 재조정된 편차가 분포상으로 가우시안 과정에 수렴한다. 분석은 소프트맥스 그래디언트 트리 기본 학습기와 자연스럽게 연관된 재생 커널 힐베르트 공간(RKHS)에서 수행되며, 이 공간에서 부스팅 과정은 자율 상미분방정식(ODE)의 해로 특성화된다. 증명은 바나흐 공간에서 ODE에 대한 일반적인 확률적 섭동 분석에 기반하며, 이는 독자적인 관심사이기도 하다: 벡터장의 수열이 수렴하고 중심극한정리를 만족할 때마다, 연관된 ODE 해도 마찬가지임을 보인다. 우리는 먼저 더 단순한 커널 그래디언트 흐름 설정에서 이 섭동 접근법을 예시하는데, 여기서 가우시안 극한은 명시적 특성화를 허용한다. 이후 보다 복잡한 트리 기반 그래디언트 부스팅 설정을 고려한다.

arXiv:2503.21321v2stat.AP

자동차 보험에서 청구 심각도 및 빈도 예측을 위한 설명 가능 부스팅 머신

Explainable Boosting Machine for Predicting Claim Severity and Frequency in Car Insurance

머신러닝과 심층 학습 기법의 급속한 발전과 함께, 보험계리사와 보험 업계 전반은 예측 정확도와 해석 가능성 사이의 지속적인 트레이드오프에 직면하고 있다. 본 논문은 자동차 보험 프레임워크에서 청구 빈도 및 심각도 모델링에 초점을 맞춰 Explainable Boosting Machines(EBM)에 대한 포괄적인 응용 평가를 제공한다. EBM은 일반화 가법 모델(GAM)의 가법적 구조와 순환 그래디언트 부스팅 알고리즘을 결합하여, 예측이 설계상 해석 가능한 glass-box 모델을 만든다. 실제 데이터를 사용하여 실용적 관련성을 실증적으로 보여주고, 손해보험 요율 산정에 사용되는 현대 벤치마크 모델들과 EBM을 비교한다. 평가에서는 (i) Murphy diagram과 Bregman dominance test를 포함한 표본 외 예측 정확도, (ii) T-reliability diagram과 Murphy score 분해를 이용한 보정(calibration) 평가를 고려한다. 마지막으로 EBM 예측과 Shapley value 사이의 연관성을 강조하며, 예측을 정확한 주효과와 쌍별 상호작용 효과로 투명하게 분해할 수 있음을 보여 예측 성능을 넘어 실행 가능한 통찰을 제공한다.