arXiv:2610.01269v2 cs.LG

IQS-BO: 베이지안 최적화를 위한 문맥 내 쿼리 선택

IQS-BO: In-Context Query Selection for Bayesian Optimisation

Luca Geminiani, Nadja Klein

제출 2026-10-01

한국어 초록

베이지안 최적화(Bayesian Optimisation, BO)는 비용이 큰 블랙박스 함수를 최적화하기 위한 강력한 프레임워크이지만, 일반적으로 매 평가마다 대리 모델을 다시 적합하고 획득 함수를 최대화해야 한다. 사전 데이터 적합 네트워크(Prior-data Fitted Networks, PFN)에 기반한 인컨텍스트 접근법은 합성 사전분포에서 추출한 함수로 트랜스포머를 사전학습하여 이 비용의 일부를 분할 상환한다. PFNS4BO는 대리 모델을 분할 상환하지만 여전히 수치적으로 최대화되는 획득 함수에 의존하며, FIBO는 학습된 밀도로부터 최적화기 위치를 샘플링하여 BO를 완전히 인컨텍스트로 수행하는데, 이는 결정 규칙을 고정하고 대리 모델을 허용하지 않는다. 학습된 획득 함수는 유한한 후보 집합에 네트워크로 점수를 매기지만, 질의에 대한 레이블이 없으므로 강화학습으로 점수를 학습한다. 우리는 합성 사전분포에 대한 지도학습으로 질의 결정을 학습하는 PFN인 IQS-BO를 제안한다. IQS-BO는 단일 순전파로 각 후보가 집합에서 최선일 확률을 예측하며, 학습이 이 사건의 사후확률에 대한 기대 KL 발산을 최소화함을 보인다. 이 모델은 완전한 인컨텍스트 BO를 위해 대리 모델 없이 사전학습할 수도 있고, 고정된 확률적 대리 모델의 예측을 추가 입력으로 받아 결정 단계만 분할 상환할 수도 있다. 우리의 방법은 획득 함수 기반 방법의 일부 비용만으로 질의를 제안하면서, 저차원과 고차원의 순차 및 배치 최적화에서 가우시안 과정(GP)을 사용한 BO 및 사용 가능한 인컨텍스트 방법과 대등하거나 더 나은 성능을 보인다. 마지막으로, GP에서 추출한 샘플과 정상(stationary) GP 커널로는 모델링하기 어려운 입력 왜곡, 좁은 최적점, 평탄 구간을 보이는 함수를 결합한 PFN 사전학습용 혼합 사전분포를 제안한다. 이 사전분포로 사전학습하면 성능이 향상되고 네트워크가 더 넓은 범위의 최적화 문제로 일반화하는 데 도움이 됨을 보인다.

원문 초록

Bayesian Optimisation (BO) is a powerful framework for optimising expensive black-box functions, but typically requires refitting a surrogate and maximising an acquisition function at every evaluation. In-context approaches based on Prior-data Fitted Networks (PFNs) amortise part of this cost by pre-training transformers on functions drawn from synthetic priors. PFNS4BO amortises the surrogate but still relies on a numerically maximised acquisition function, while FIBO performs BO fully in-context by sampling optimiser locations from a learned density, which fixes the decision rule and admits no surrogate. Learned acquisition functions score a finite candidate set with a network, but, lacking a label for the query, learn the score by reinforcement learning. We propose IQS-BO, a PFN that learns the query decision by supervised learning on synthetic priors. In a single forward pass, IQS-BO predicts the probability that each candidate is the best in the set, and we show that training minimises its expected KL divergence to the posterior probability of this event. The model can be pre-trained without a surrogate for fully in-context BO, or take the predictions of a fixed probabilistic surrogate as additional input, amortising only the decision step. Our method proposes queries at a fraction of the cost of acquisition-based methods, while matching or outperforming BO with Gaussian processes (GPs) and available in-context methods in sequential and batch optimisation, in low and high dimensions. Finally, we propose a mixture prior for pre-training PFNs which combines samples from GPs with functions exhibiting warped inputs, narrow optima, or plateaus that are poorly modelled by stationary GP kernels. We show that pre-training on this prior can improve performance and help the network generalise to a broader range of optimisation problems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01269v2제출 시각 미확인
  2. arXiv:2610.01269v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.