베이지안 최적화에서의 직접적인 후회 최소화 최적화
Direct Regret Optimization in Bayesian Optimization
베이지안 최적화(Bayesian optimization, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하기 위한 강력한 패러다임입니다. 전통적인 BO 방법은 일반적으로 기저 함수에 대해 수작업으로 설계된 별도의 획득 함수(acquisition function)와 대리 모델(surrogate model)에 의존하며, 흔히 근시안적인(myopic) 방식으로 작동합니다. 본 논문에서는 후보 모델과 획득 함수 집합으로부터 지식을 증류(distilling)하여 최적의 모델과 비근시안적 획득 방식을 공동으로 학습하고, 다단계 후회(multi-step regret) 최소화를 명시적인 목표로 하는 새로운 직접 후회 최적화(direct regret optimization) 접근법을 제안합니다. 제안하는 프레임워크는 서로 다른 하이퍼파라미터를 가진 가우시안 프로세스(Gaussian Processes, GP) 앙상블을 활용하여 시뮬레이션된 BO 궤적을 생성하며, 각 궤적은 기존 선택지 풀에서 추출된 획득 함수를 따르고 베이지안 조기 종료 기준에 의해 종료됩니다. 이러한 궤적들은 궁극적인 목적 함수를 개선하도록 다음 쿼리를 선택하는 엔드투엔드 의사결정 트랜스포머(Decision Transformer)를 학습시키며, 이는 조밀한 학습 희소성 학습(dense training sparse learning) 패러다임을 따릅니다. 즉, 트랜스포머는 풍부한 시뮬레이션 데이터로 학습되는 반면, 제한된 수의 실제 평가를 통해 온라인으로 GP를 개선합니다. 합성 데이터 및 실제 벤치마크에서 본 연구의 방법은 표준, 룩어헤드(lookahead), 신뢰 영역(trust-region), 분할 상환(amortized) BO 베이스라인 대비 최고 또는 최고에 가까운 최종 단순 후회(simple regret) 성능을 달성하며, 특히 고차원 환경에서 가장 큰 성능 향상을 보입니다. 절제 연구(ablation study)에 따르면 이러한 성능 향상은 관심 영역 필터링과 학습된 정책의 결합에 기인하며, 동일 예산 조건에서 명시적인 2단계 룩어헤드 획득 방식과 비교했을 때 이러한 이점이 룩어헤드만으로는 얻어지지 않음을 보여줍니다.