arXiv:2507.06529v2 cs.LG

베이지안 최적화에서의 직접적인 후회 최소화 최적화

Direct Regret Optimization in Bayesian Optimization

Fengxue Zhang, Yuxin Chen

제출 2025-07-09

한국어 초록

베이지안 최적화(Bayesian optimization, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하기 위한 강력한 패러다임입니다. 전통적인 BO 방법은 일반적으로 기저 함수에 대해 수작업으로 설계된 별도의 획득 함수(acquisition function)와 대리 모델(surrogate model)에 의존하며, 흔히 근시안적인(myopic) 방식으로 작동합니다. 본 논문에서는 후보 모델과 획득 함수 집합으로부터 지식을 증류(distilling)하여 최적의 모델과 비근시안적 획득 방식을 공동으로 학습하고, 다단계 후회(multi-step regret) 최소화를 명시적인 목표로 하는 새로운 직접 후회 최적화(direct regret optimization) 접근법을 제안합니다. 제안하는 프레임워크는 서로 다른 하이퍼파라미터를 가진 가우시안 프로세스(Gaussian Processes, GP) 앙상블을 활용하여 시뮬레이션된 BO 궤적을 생성하며, 각 궤적은 기존 선택지 풀에서 추출된 획득 함수를 따르고 베이지안 조기 종료 기준에 의해 종료됩니다. 이러한 궤적들은 궁극적인 목적 함수를 개선하도록 다음 쿼리를 선택하는 엔드투엔드 의사결정 트랜스포머(Decision Transformer)를 학습시키며, 이는 조밀한 학습 희소성 학습(dense training sparse learning) 패러다임을 따릅니다. 즉, 트랜스포머는 풍부한 시뮬레이션 데이터로 학습되는 반면, 제한된 수의 실제 평가를 통해 온라인으로 GP를 개선합니다. 합성 데이터 및 실제 벤치마크에서 본 연구의 방법은 표준, 룩어헤드(lookahead), 신뢰 영역(trust-region), 분할 상환(amortized) BO 베이스라인 대비 최고 또는 최고에 가까운 최종 단순 후회(simple regret) 성능을 달성하며, 특히 고차원 환경에서 가장 큰 성능 향상을 보입니다. 절제 연구(ablation study)에 따르면 이러한 성능 향상은 관심 영역 필터링과 학습된 정책의 결합에 기인하며, 동일 예산 조건에서 명시적인 2단계 룩어헤드 획득 방식과 비교했을 때 이러한 이점이 룩어헤드만으로는 얻어지지 않음을 보여줍니다.

원문 초록

Bayesian optimization (BO) is a powerful paradigm for optimizing expensive black-box functions. Traditional BO methods typically rely on separate hand-crafted acquisition functions and surrogate models for the underlying function, and often operate in a myopic manner. In this paper, we propose a novel direct regret optimization approach that jointly learns the optimal model and non-myopic acquisition by distilling from a set of candidate models and acquisitions, and explicitly targets minimizing the multi-step regret. Our framework leverages an ensemble of Gaussian Processes (GPs) with varying hyperparameters to generate simulated BO trajectories, each guided by an acquisition function drawn from a pool of conventional choices and terminated by a Bayesian early stop criterion. These trajectories train an end-to-end Decision Transformer that selects the next query so as to improve the ultimate objective, following a dense training sparse learning paradigm: the transformer is trained on abundant simulated data, while a limited number of real evaluations refine the GPs online. On synthetic and real-world benchmarks, our method attains the best or near-best final simple regret against standard, lookahead, trust-region and amortized BO baselines, with the largest gains in high-dimensional settings. Ablations attribute the gains jointly to region-of-interest filtering and the learned policy, and matched-budget comparisons against explicit two-step lookahead acquisitions show that the advantage is not shared by lookahead alone.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2507.06529v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23896v1cs.AI공통 태그 Bayesian Optimization, Gaussian Processes, Sequential Decision Making

자율 재료 발견을 위한 비용 인식 회수 경로 식별 및 베이지안 최적화

Cost-Aware Recovery-Pathway Identification and Bayesian Optimization for Autonomous Materials Discovery

자율 실험실은 실험 수행을 자동화하지만, 캠페인은 또한 어떤 회수 경로가 최적화할 가치가 있는지 결정해야 한다. 우리는 이를 이질적인 실험 비용 하에서 이산적인 경로 식별 단계와 경로 내 연속 최적화 단계를 갖는 순차적 의사결정 문제로 공식화한다. 우리의 구현인 Coactive learning은 EC2(Golovin et al., 2010)에서 영감을 받은 비용 민감 베이지안 가설 판별 정책과 가우시안 프로세스 베이지안 최적화(Srinivas et al., 2010)를 결합한다. 명시적으로 진술된 가정 하에서, 고정 예산 캠페인 시도 1회의 기대 지출은 기대 경로 식별 비용과 상한이 설정된 경로 내 최적화 예산의 합으로 한정된다. 우리는 PNNL의 CICERO 선택적 침전 연구(Ritchhart et al., 2026)에서 보고된 선별된 결과로 제약된 합성 벤치마크(benchmark)에서 이 방법을 평가한다. 이 방법은 정답 경로에 대한 오라클 레이블을 받지 않으면서 첫 번째 플레이트로 경로를 판별하는 강력한 split-plate 기준선(baseline) 및 오라클 경로 베이지안 최적화 기준과 비슷한 성능을 보인다. 이 방법에는 후보 가설 공간과 진단 가능도(likelihood) 모델이 주어진다. NdFeB에서 영감을 받은 사례에서, 이 방법은 처음에 그럴듯하지만 열등한 수산화물 경로를 선택하는 commit-first 기준선의 시뮬레이션 페널티를 피한다. 이 가상의 잘못된 선(先)확정 시나리오는 CICERO에서 보고된 수산화물-옥살레이트 성능 대비에 의해 동기화된다. 우리는 이러한 결론이 가정된 비용 모델에 대해 얼마나 민감한지 특성화한다. 코드와 벤치마크는 오픈 소스이다.

arXiv:2610.11082v1stat.ML공통 태그 Bayesian Optimization, Gaussian Processes

커널 밴딧(Kernel Bandits)에 대한 일반적인 $\widetildeΩ(\sqrt{Tγ_T})$ 하한

A General $\widetildeΩ(\sqrt{T γ_T})$ Lower Bound for Kernel Bandits

커널 밴딧(kernel bandit) 문제는 주어진 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS)에서 유계 노름(bounded norm)을 갖는 미지의 함수를 잡음이 있는 피드백(noisy feedback)을 통해 순차적으로 최적화하는 문제이다. 커널 밴딧의 후회(regret) 분석에서 중심이 되는 양은 최대 정보 획득량(maximum information gain) $γ_T$이다. 특히, 기존에 알려진 가장 좋은 상한(upper bound)은 로그 항(log factor)을 제외하면 $\sqrt{Tγ_T}$로 스케일링되며, 제곱 지수(squared exponential) 커널과 마테른(Matérn) 커널과 같은 특정 커널에 대해서는 이와 거의 일치하는 하한(lower bound)이 도출되어 왔다. 그러나 일반적인 커널에 대한 하한은 부족하여, 어느 정도의 일반성에서 상한이 근사 최적(near-optimal)인지가 불분명하다. 본 논문에서는 콤팩트 정의역(compact domain) 상의 비상수 연속 커널(non-constant continuous kernel)에 대해 일반적인 $Ω(\sqrt{Tγ_T/\log T})$ 미니맥스 후회 하한을 수립하여, 매우 일반적인 의미에서 (로그 항 범위 내에서의) 근사 최적성을 입증한다. 우리는 이 하한에 나타나는 로그 항이 일반적으로는 피할 수 없음을 보이지만, 특정 조건 하에서는 이를 제거할 수 있음을 보인다. 특히 우리의 결과는 $ν\in (0,2)$인 마테른-$ν$(Matérn-$ν$) 커널, $γ\in (0,2)$인 $γ$-지수(γ-exponential) 커널, 그리고 특정 조각별 다항식(piecewise-polynomial) 커널에 대해 미니맥스 최적 스케일링이 (상수 인자 범위 내에서) 정확히 $Θ(\sqrt{Tγ_T})$임을 함의한다.

arXiv:2609.19437v2cs.LG공통 태그 Bayesian Optimization, acquisition function

LLM을 통한 풍부한 보조 정보를 활용한 베이즈 최적화

Bayesian Optimization with Rich Auxiliary Information via LLMs

베이즈 최적화(Bayesian Optimization, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되지만, 일반적으로 각 고비용 실험을 입력값과 목적함수 값으로만 단순화하여 실험에서 생성되는 많은 정보를 버립니다. 이러한 보조 정보에는 하이퍼파라미터 최적화에서의 학습 곡선, 과학 실험에서의 전문가 노트 및 이미지, 또는 특정 최적화 문제에 대해 알려진 사실 등이 포함될 수 있습니다. 대규모 언어 모델(LLM)이 다양하고 비정형화된 정보를 처리할 수 있는 능력을 활용하여, 본 논문에서는 두 가지 방법을 소개합니다. 즉, 보조 정보를 사용하여 최적값의 위치에 대한 신념을 발전시키는 AuxBO-Evolve와, 보조 정보를 활용해 획득 함수(acquisition function)를 국소적으로 안내하는 AuxBO-Vicinity입니다. 합성 작업, 하이퍼파라미터 최적화 벤치마크, 과학자가 작성한 비정형 로그가 포함된 핵융합 작업 전반에서 제안 방법들은 최적화 성능을 일관되게 향상시키며 표준 BO 및 기존 LLM 기반 접근법들을 능가합니다. 나아가 본 연구는 LLM이 점별(pointwise) 목적함수 값을 모델링하기보다는 유력한 최대화 지점의 위치를 모델링할 때 더욱 효과적인 확률론적 가이드를 제공한다는 점을 밝혀냈습니다. 전반적으로 본 연구 결과는 표준 $(\mathbf{x}, y)$ 상호작용을 넘어선 풍부한 정보를 활용하는 것이 BO 성능을 대폭 향상시킬 수 있음을 입증합니다.

arXiv:2610.01513v1cs.AI공통 태그 Sequential Decision Making, decision transformer

Decision Titan: 오프라인 강화학습에서 장기 기억을 위한 테스트 시점 학습

Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning

장기 의존성(long-term dependencies)은 AI 분야의 순차적 의사결정에서 여전히 주요한 과제입니다. RNN은 그래디언트 소실(vanishing gradients) 및 벡터 기반 은닉 상태의 제한된 표현력으로 인해 어려움을 겪는 반면, 트랜스포머(Transformer) 기반 모델은 어텐션(attention)의 2차(quadratic) 스케일링으로 인해 한계를 갖습니다. 최근 연구에서는 학습(train) 및 테스트 시점 모두에서 경사하강법(gradient descent)을 통해 신경망(neural network)의 파라미터에 에피소드 기억을 저장하는 테스트 시점 학습(Test-Time Training, TTT) 프레임워크로 이 문제를 해결할 것을 제안했습니다. 이 접근법은 자연어 처리(NLP) 분야에서 성공을 거두었으나, 우리가 아는 한 강화학습(RL) 분야에는 아직 적용되지 않았으며 이러한 기억이 실제로 어떻게 기능하는지 분석한 연구도 없었습니다. 본 논문에서는 Decision Transformer에 TTT 레이어를 보강한 'Decision Titan'을 통해 오프라인 강화학습을 위한 TTT 프레임워크의 잠재력을 연구합니다. 순차적 기억을 테스트하도록 설계된 T-Maze의 확장 환경(environment)인 X-Maze에서 모델의 성능과 특성을 분석하고, 시간에 따른 게이트 값을 시각화하여 메모리 메커니즘이 어떻게 학습하는지 조사합니다. 본 연구의 주요 발견은 Decision Titan이 컨텍스트 윈도우(context window)보다 20배 더 긴 범위의 장기 의존성을 학습할 수 있고, 학습 데이터 길이의 1.7배까지 일반화할 수 있다는 점입니다. 그러나 결정적으로 시간적 일반화는 사용된 시간 임베딩에 따라 달라지며, 장기 의존성을 학습하는 능력은 관련 정보가 어떻게 인코딩되는지에 따라 달라집니다.

arXiv:2607.10669v2cs.LG공통 태그 Bayesian Optimization, Gaussian Processes

tidyHEBO: 모델 일관적 워핑과 파레토 탐색을 결합한 강건한 범용 베이지안 최적화

tidyHEBO: Robust General-Purpose Bayesian Optimization with Model-Consistent Warping and Pareto Search

베이지안 최적화(BO)는 비용이 많이 드는 블랙박스 문제에 널리 사용되지만, 실제 성능은 고수준의 알고리즘 선택뿐만 아니라 대리 모델(surrogate model) 학습, 입력 및 출력 워핑(warping) 변환, 획득 함수(acquisition function), 그리고 후보 탐색이 어떻게 구현되는지에 따라서도 달라집니다. 본 논문에서는 강건한 범용 최적화를 위해 설계된 BoTorch 기반의 단일 목적 옵티마이저인 tidyHEBO를 제시합니다. tidyHEBO는 Yeo-Johnson 출력 워핑을 가우시안 프로세스(Gaussian process) 대리 모델과 함께 결합 적합(joint fit)하고, 결정론적 수치적분(deterministic quadrature)이나 몬테카를로 샘플(MC-samples)을 활용해 원래 목적 척도 상에서 획득 함수를 평가하며, 여러 획득 기준에 걸쳐 제약 조건이 있는 누적 파레토 탐색(cumulative Pareto search)을 수행합니다. Olympus 전용 하이퍼파라미터 튜닝 없이 기본 옵티마이저 구성만을 사용하여, tidyHEBO는 Olympus 벤치마크에서 평가된 방법 중 1위를 차지했습니다. 중앙값 nAUC, CVaR_nAUC, IQR_nAUC로 각각 측정한 일반적인 성능(평균 순위 1.53), 최악의 꼬리 성능(1.21), 실행 간 변동성(2.00)에서 모두 최고 평균 순위를 달성했습니다. 동일한 기본 구성을 적용했을 때 tidyHEBO는 합성 문제 및 건초더미 속 바늘 찾기(Needle-in-a-Haystack) 문제에서도 뛰어난 성능을 보였으며, Bayesmark에서는 HEBO와 매우 근접한 성능(92.64 대 93.34)을 기록하면서 로그 기대 개선(logarithmic expected improvement)을 사용하는 GP 및 무작위 탐색(random search)을 능가했습니다. 적응형 배치는 피드백 라운드를 줄이는 동시에 배치 상한이 증가함에 따라 병렬화와 최적화 품질 사이의 제어 가능한 트레이드오프를 보여주었습니다. 이러한 결과는 tidyHEBO가 과학적 응용 및 하이퍼파라미터 튜닝을 포함한 광범위한 실제 최적화 문제를 위한 강건하고 재현 가능한 범용 옵티마이저임을 보여줍니다.

arXiv:2609.28427v1cs.LG공통 태그 Bayesian Optimization, Gaussian Processes

외골격 개인화를 위한 문맥 연속적 선호도 학습

Context-Continuous Preference Learning for Exoskeleton Personalization

다양한 동작 조건에 걸쳐 외골격(exoskeleton) 보조를 개인화하는 것은 사용자 피드백을 수집하는 데 필요한 시간과 신체적 노력으로 인해 제약을 받습니다. 본 연구에서는 사용자의 선호도 지형(preference landscape)이 동작 조건 전반에서 매끄럽게 변화하는지, 그리고 이러한 연속성이 제한된 피드백으로부터의 학습을 언제 뒷받침하는지 조사했습니다. 본 논문에서는 문맥별 효용 추정치를 유지하면서 인접한 문맥 간 관측치를 공유하는 가우시안 프로세스(Gaussian-process) 선호도 모델인 CCPL(Context-Continuous Preference Learning)을 제안합니다. 성인 9명의 발목 및 팔꿈치 외골격 선호도 데이터를 바탕으로 시뮬레이션과 후향적 분석을 통해 CCPL을 평가했습니다. 시뮬레이션에서 CCPL은 선호도가 매끄럽게 변할 때 독립적 학습(independent learning) 대비 재구성(reconstruction) 및 선호도 기반 베이지안 최적화(Bayesian optimization) 성능을 향상시켰으나, 연속성이 약할 때는 부정적 전이(negative transfer)를 보였습니다. 두 인간 대상 연구 모두에서 각 참가자 및 문맥에 대해 개별적으로 추정된 전체 데이터 기준 지형은 인접한 동작 조건 간에 더 유사한 경향을 보였습니다. 문맥당 5회의 노출 조건에서 CCPL은 독립적 학습 대비 이러한 기준과의 평균 재구성 상관계수를 발목 보조의 경우 0.644에서 0.720으로, 팔꿈치 보조의 경우 0.476에서 0.526으로 높였습니다. 5회 노출 예산은 해당 상관계수와 일치시키는 데 필요한 추정 독립적 학습 예산보다 발목의 경우 약 37%, 팔꿈치의 경우 약 17% 더 낮았습니다. CCPL은 또한 독립적 학습 대비 홀드아웃(held-out) 반응 예측을 개선한 반면, 풀링 학습(pooled learning) 대비 이점은 다양하게 나타났습니다. 이러한 결과는 제한된 피드백 하에서 선호도 관측치를 공유하기 위한 근거로서 문맥 연속성을 지지하지만, 인간 대상의 온라인 개인화에 대한 이점은 여전히 확립되어야 할 과제로 남아 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.