arXiv:2611.22965v1 cs.LG

확산 모델의 가이드 샘플링을 활용한 고차원 블랙박스 최적화

High-Dimensional Black-Box Optimization via Guidance Sampling of Diffusion Models

Xiaoyan Hu, Rohit Sonker, Jalal Butt, Jiayu Chen, Egemen Kolemen, Jeff Schneider

제출 2026-11-18

한국어 초록

실제 최적화 문제에서는 평가 횟수가 제한된 블랙박스 목적함수를 최적화해야 하는 경우가 많다. 베이즈 최적화(BO)는 이런 문제에 효과적이지만 고차원 공간에서는 성능이 떨어지는 경우가 많다. 최근에는 확산 모델로 블랙박스 최적화를 수행하며, 보상을 조건으로 하는 점수 신경망을 사전학습해 보상이 높은 샘플 쪽으로 생성을 유도하는 경우가 많다. 그래디언트 기반 가이던스는 미분 가능한 보상 함수에 접근해 가이던스 그래디언트를 얻을 수 있다고 가정한다. 이러한 방법은 오프라인 학습을 위한 대량의 레이블 데이터 또는 정확한 보상 그래디언트를 요구해 블랙박스 환경에서는 적용하기 어렵다. 레이블이 있는 데이터셋이나 보상 그래디언트에 접근할 수 있다고 가정하지 않고 블랙박스 보상을 최적화하는 확산 모델 가이드 샘플링 프레임워크 BReaD(Black-box Reward-guided Sampling of Diffusion Model)를 제안한다. 알 수 없는 목적함수를 미분 가능한 가우스 과정(GP)으로 근사하고, 생성한 샘플의 레이블을 능동적으로 조회한다. 생성 분포와 목표 분포 사이의 총변동 거리를 이론적으로 분석한다. 상한 신뢰구간(UCB)을 가이던스 신호로 사용해 생성 중 탐험과 활용의 균형을 맞추고, 데이터 공간에서 높은 보상을 얻는 영역을 찾는다. 과학적 발견과 이미지 생성에 관한 수치 실험에서 데이터가 적어도 블랙박스 보상을 효과적으로 최적화할 수 있음을 확인했다.

원문 초록

Many real-world optimization problems involve optimizing black-box objectives for which only a limited number of evaluations are available. Bayesian optimization (BO) is a powerful framework for such problems, but its effectiveness often deteriorates in high-dimensional spaces. Recent work leverages diffusion models for black-box optimization, often through pre-training a reward-conditioned score network to steer generation towards high-reward samples. Alternatively, gradient-based guidance methods assume access to a differentiable reward function from which guidance gradients are queried. However, these approaches either require large amounts of labeled data for offline training or access to exact reward gradients, limiting their applicability in black-box settings. We propose BReaD (Black-box Reward-guided Sampling of Diffusion Model), a guidance sampling framework for optimizing black-box rewards without assuming access to a labeled dataset or reward gradients. The proposed method uses a Gaussian process (GP) as a differentiable surrogate for the unknown objective and actively queries labels for the generated samples. We provide a theoretical analysis of the total-variation distance between the generated distribution and the target distribution. Using Upper Confidence Bound (UCB) as guidance signals, our method balances exploration and exploitation during generation and enables the discovery of high-reward regions in the data space. Numerical experiments on scientific discovery and image generation tasks demonstrate that our framework can effectively optimize black-box rewards in low-data scenarios.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22965v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.