arXiv:2606.25494v1 math.PR

커널 그래디언트 흐름과 미소 그래디언트 부스팅에 대한 함수형 중심극한정리

A functional central limit theorem for kernel gradient flow and infinitesimal gradient boosting

Clément Dombry, Jean-Jil Duchamps

제출 2026-06-24

한국어 초록

미소 그래디언트 부스팅의 대표본 분석(Dombry and Duchamps, 2024b)을 기반으로, 우리는 과정이 결정론적 극한 주변에서 보이는 요동을 연구하고 함수형 중심극한정리를 확립한다: 재조정된 편차가 분포상으로 가우시안 과정에 수렴한다. 분석은 소프트맥스 그래디언트 트리 기본 학습기와 자연스럽게 연관된 재생 커널 힐베르트 공간(RKHS)에서 수행되며, 이 공간에서 부스팅 과정은 자율 상미분방정식(ODE)의 해로 특성화된다. 증명은 바나흐 공간에서 ODE에 대한 일반적인 확률적 섭동 분석에 기반하며, 이는 독자적인 관심사이기도 하다: 벡터장의 수열이 수렴하고 중심극한정리를 만족할 때마다, 연관된 ODE 해도 마찬가지임을 보인다. 우리는 먼저 더 단순한 커널 그래디언트 흐름 설정에서 이 섭동 접근법을 예시하는데, 여기서 가우시안 극한은 명시적 특성화를 허용한다. 이후 보다 복잡한 트리 기반 그래디언트 부스팅 설정을 고려한다.

원문 초록

Building on the large-sample analysis of infinitesimal gradient boosting (Dombry and Duchamps, 2024b), we study the fluctuations of the process around its deterministic limit and establish a functional central limit theorem: the rescaled deviations converge in distribution to a Gaussian process. The analysis is carried out in a reproducing kernel Hilbert space (RKHS) naturally associated with the softmax gradient tree base learner, in which the boosting process is characterized as the solution of an autonomous ordinary differential equation (ODE). The proof rests on a general stochastic perturbation analysis of ODEs in Banach spaces, which is of independent interest: whenever a sequence of vector fields converges and satisfies a central limit theorem, so does the associated ODE solution. We first illustrate this perturbation approach in the simpler setting of kernel gradient flow, where the Gaussian limit admits an explicit characterization, and then consider the more complicated tree-based gradient boosting setting.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.25494v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28122v1stat.ML공통 태그 Ensemble Learning, Gaussian Processes, gradient boosting

NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process

NPBoost: Neural Processes with Gradient-Boosted Fixed Effects

Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.

arXiv:2610.05196v2cs.LG공통 태그 Ensemble Learning, gradient boosting

일치된 적격성 조건에서 학습된 단조 시계열 집계의 성능 측정

Measuring Learned Monotone Temporal Aggregation at Matched Admissibility

리스크 규제는 점수에 방향성 제약을 부과하며, 본 연구에서는 엄격한 입력별 형태(모든 익스포저 입력에 대해 점수가 단조 비감소하는 형태)를 규범적 약정으로 채택합니다. 이미 배포된 파이프라인(부호 제약 그래디언트(gradient) 부스팅으로 전달되는 단조 수작업 집계)은 결합을 통해 이를 이미 만족하므로, 제약 모델과 비제약 모델 간의 비교는 기존 파이프라인이 이미 무상으로 확보하고 있는 보장에 비용을 매기는 셈이 됩니다. 이에 따라 본 연구는 양측 모두에서 적격성을 일정하게 유지한 채 집계를 학습하는 것의 가치를 측정합니다. 본 연구의 도구는 상태가 고전적 리스크 통계량(지수 가중 이동 평균 및 학습된 변환을 갖춘 하이워터 마크)으로 구성된 순환 신경망으로, 구조적으로 모든 입력 및 MC-드롭아웃(dropout) 샘플마다 단조성을 만족합니다. 함수형 회귀를 통한 핵심 발견은 포섭 경계(subsumption boundary)입니다. 학습된 단조 채널은 수작업 통계량의 기하 가중 분리 가능 군을 구성원당 하나의 채널을 통해 스피어만 $ρ\ge 0.996$ 수준으로 재현하고, 측정 가능한 상한 내에서 윈도우 통계량을 근사하지만, 구조적 한계인 연속성($ρ= 0.924$) 및 시간 국소화(0.628), 그리고 학습 가능성 한계인 익스포저 하한(0.829)에서는 실패합니다. 하나의 명시적인 적격 기저는 각 실패를 보완합니다(순위 상관관계 1.000). 분리 가능 군 내부 또는 근처에서는 학습된 집계와 엔지니어링된 집계가 서로 대체 가능하며, 학습된 채널은 전체 표본 크기와 지정된 용량에서 통계적으로 결코 뒤처지지 않습니다. 학습된 채널의 이점은 기존 파이프라인별로 특화되어 나타납니다. 고정된 그리드는 커버하지 못하는 감쇠 영역에서 최대 0.019 AUC 손실을 초래하는 반면(학습된 채널은 모든 탐색 지점에서 가장 강력한 엔지니어링 소비자 대비 0.004 이내를 유지함), 가장 고차원인 비교 대상은 데이터가 부족할 때 가장 빠르게 성능이 저하되며, 학습(training) 서포트 외부에서는 그리드 기반 트리 앙상블(ensemble) 점수가 평탄해지는 반면 엄격하게 증가하는 헤드는 순위 매김을 지속합니다. 세 가지 축 모두에서 단일 기존 모델이 완전히 지배당하지는 않습니다.

arXiv:2609.34577v2cs.AI공통 태그 Ensemble Learning, Gaussian Processes

수중 환경 모니터링에서의 정보 경로 계획을 위한 보정된 불확실성

Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring

스칼라장(scalar field) 재구성을 위한 정보 경로 계획(Informative Path Planning)은 예측 불확실성을 활용해 센싱 비히클을 정보량이 최대인 위치로 안내합니다. 가우시안 프로세스(Gaussian Process)가 이러한 신호를 제공하지만, 정상 등방성 커널(stationary isotropic kernel)은 기름 유출과 같은 비균질 현상에 대해 잘못 지정되어 불확실성 추정의 보정 실패(miscalibration)를 야기하고 경로 계획 성능을 저하시킵니다. 본 연구에서는 가우시안 프로세스를 잘 보정된 딥 앙상블(Deep Ensemble)로 대체할 때 경로 계획 결과가 향상되는지, 그리고 불확실성의 품질이 계획 알고리즘 선택과 어떻게 상호작용하는지 조사합니다. 5가지 전략(ε-Greedy, Value Greedy, Uncertainty Greedy, 몬테카를로 트리 탐색(MCTS), Receding Horizon Orienteering)은 물리 기반 기름 유출 시뮬레이션으로 학습된 공통 딥 앙상블 백본을 공유합니다. 미공개 확률적 유출 시나리오에서 딥 앙상블은 가우시안 프로세스 기준선(baseline) 대비 정규화된 재구성 오차를 83% 줄였습니다. 결정적으로, 잘 보정된 불확실성은 계획 전략의 중요성을 증폭시킵니다. 잘못 보정된 모델에서는 알고리즘 간의 성능 차이가 미미하지만, 앙상블 환경에서는 다단계 사전 예측(multi-step lookahead) 계획기가 탐욕적(greedy) 선택보다 재구성 오차를 최대 32% 개선하고 0.85 이상의 IoU를 달성하는 등 그 차이가 현저해집니다. 몬테카를로 트리 탐색은 한 자릿수 이상 낮은 연산 비용으로 Orienteering과 대등한 재구성 품질을 보여 권장되는 계획기로 제시됩니다.

arXiv:2609.26843v1math.NA공통 태그 Math, Gaussian Processes

잔차 기반 적응형 GMsFEM을 위한 가우시안 프로세스 대리 지표

Gaussian-process surrogate indicators for residual-based adaptive GMsFEM

고대비(high-contrast) 타원형 문제에 대한 잔차 기반 적응형 GMsFEM은 모든 coarse 이웃에서 국소 가중 $H^{-1}$ 지표를 반복적으로 평가하므로, 반복 쿼리(repeated-query) 설정에서 지표 평가가 반복되는 비용이 된다. D\"orfler marking에 사용되는 지표 점수에 대해 비침투적(non-intrusive) 가우시안 프로세스(GP) 대리 모형을 도입한다. 운영 예측량은 GP 사후 평균이며, 명시된 규약 하에서 커널 릿지 회귀(KRR) 추정량과 대수적으로 동등하다; 다중스케일 해법, 국소 스펙트럼 구성, 또는 기저 enrichment를 바꾸지 않고 압축된 국소 해와 스펙트럼 특징을 사용한다. 비균일 perturbed-marking 결과는 점별 점수 오차가 대리 모형이 선택한 이웃이 포착하는 정확한 지표 질량(indicator mass)에 미치는 영향을 정량화하고, 조건부 bounded-discrepancy KRR 경로는 이러한 점수 경계에 대한 충분한 가정을 밝힌다. 통제된 held-out in-distribution 테스트에서, 대리 모형이 안내하는 방법은 고전적 $H^{-1}$-잔차 오프라인 적응성과 비교 가능한 오차 대 자유도(DoF) 추세를 보이며, 오프라인 데이터 생성 및 GP 학습을 제외하면 온라인 지표 구성 요소 평가가 2.0–2.1배 빠르다.

arXiv:2609.27930v1stat.ME공통 태그 Ensemble Learning, Gaussian Processes

가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크

Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate

우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.

arXiv:2607.20714v1math.PR공통 태그 Math, Gaussian Processes

가우스 과정의 높은 최솟값: 초과와 최소화점 위치

High Minima of Gaussian Processes: Overshoots and Minimizer Locations

$K$ 위의 콤팩트 계량 공간에서 연속 표본 경로를 갖는 중심화 가우스 과정 $X(t)$, $t\in K$를 두고, $M=\min_{t\in K}X(t)$라 하자. $σ_*^2$는 $X$와 관련된 최소 공분산 에너지를 나타내며, $σ_*^2>0$이라 가정한다. 매끄러운 가우스 과정에 대한 \cite{chakrabarty2018asymptotic}의 결과에서 영감을 받아, $M>u$일 조건 하에서 스케일된 초과(overshoot) $u(M-u)$가 $u\to\infty$일 때 평균 $σ_*^2$인 지수 확률변수로 수렴함을 보인다. 더 나아가 $X$의 가측 가능 최소화점(minimizer)의 조건부 분포의 모든 약수렴 부분열 극한은 최적 공분산-에너지 측도이다. 특히 이 측도가 유일하면 조건부 분포는 이에 약수렴한다. 결과는 정상 가우스 과정, 분수 브라운 운동(fractional Brownian motion), 분수 브라운 시트(fractional Brownian sheet)로 예시를 든다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.