arXiv:2605.20145v2 stat.ML

베이지안 최적화를 위한 가우시안 프로세스의 목표 지향적 하위 꼬리 캘리브레이션

Goal-Oriented Lower-Tail Calibration of Gaussian Processes for Bayesian Optimization

Aurélien Pion, Emmanuel Vazquez

제출 2026-05-19

한국어 초록

가우시안 프로세스(GP) 예측 분포는 베이지안 최적화(BO)에서 비용이 많이 드는 목적 함수의 평가 지점 선택을 유도하는 데 흔히 사용됩니다. 커널과 하이퍼파라미터의 선택은 탐험(exploration)과 활용(exploitation) 간의 절충(trade-off)에 강한 영향을 미칩니다. 최소화 문제의 경우, 기대 개선량(expected improvement, EI)과 같은 샘플링 기준은 현재 최적값 미만의 확률 질량과 이 영역에서의 예측 분포 형태 모두에 의존합니다. 본 논문에서는 최대 가능도(maximum likelihood)로 선택된 하이퍼파라미터를 갖는 표준 GP 모델에 대해, 노이즈가 없는(noiseless) 설정에서 낮은 임계값 $t$ 미만의 GP 예측 분포에 대한 목표 지향적 캘리브레이션을 연구합니다. 우리는 기준 측도 $μ$에 따라 분포된 입력에 대해 $t$ 미만에서의 두 가지 상호 보완적인 캘리브레이션 형태를 고려합니다: 설계 공간에 걸친 발생 캘리브레이션(occurrence calibration)과 $\{x\in\mathbb{X}, f(x)\le t\}$ 형태의 하위 레벨 집합에서의 임계화된 $μ$-캘리브레이션(thresholded $μ$-calibration)입니다. 우리는 $t$ 미만의 GP 예측 분포를 위해 이 두 가지 형태의 캘리브레이션을 결합하는 사후(post-hoc) 방법인 tcGP를 제안합니다. 고정된 GP 하이퍼파라미터 조건에서, tcGP 기반의 정확한 EI 샘플링 기준은 설계 공간에서 조밀한(dense) 평가 지점 수열을 생성합니다. 표준 벤치마크에 대한 실험을 통해 표준 GP 모델 및 전역적으로 캘리브레이션된 GP 모델과 비교하여 향상된 하위 꼬리 캘리브레이션과 BO 성능을 보여줍니다.

원문 초록

Gaussian process (GP) predictive distributions are commonly used in Bayesian optimization (BO) to guide the selection of evaluation points for expensive objective functions. The choice of kernel and hyperparameters has a strong influence on the exploration--exploitation trade-off. For minimization, sampling criteria such as expected improvement (EI) depend on both the probability mass below the current best value and the shape of the predictive distribution in this region. This article studies goal-oriented calibration of GP predictive distributions below a low threshold $t$ in the noiseless setting, for standard GP models with hyperparameters selected by maximum likelihood. We consider two complementary forms of calibration below $t$ for inputs distributed according to a reference measure $μ$: occurrence calibration over the design space and thresholded $μ$-calibration on sublevel sets of the form $\{x\in\mathbb{X}, f(x)\le t\}$. We propose tcGP, a post-hoc method that combines these two forms of calibration for GP predictive distributions below $t$. With fixed GP hyperparameters, the exact EI sampling criterion based on tcGP generates a sequence of evaluation points that is dense in the design space. Experiments on standard benchmarks show improved lower-tail calibration and BO performance relative to standard GP models and globally calibrated GP models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.20145v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.