BONSAI: 자연스러운 단순성과 해석 가능성을 갖춘 베이즈 최적화
BONSAI: Bayesian Optimization with Natural Simplicity and Interpretability
베이즈 최적화(Bayesian optimization, BO)는 블랙박스 함수의 표본 효율적 최적화(sample-efficient optimization)를 위해 널리 사용되는 기법입니다. 많은 응용 분야에서 튜닝 대상 파라미터는 정교하게 설계된 기본 설정(default configuration)과 함께 제공되며, 실무자들은 꼭 필요한 경우에만 이 기본값에서 벗어나기를 원합니다. 그러나 표준 BO는 기본값으로부터의 편차를 최소화하는 것을 목표로 하지 않으며, 실제로는 중요도가 낮은 파라미터를 탐색 공간의 경계로 밀어내는 경우가 많습니다. 이는 중요 변경사항과 무의미한 변경사항을 구분하기 어렵게 만들고, 최적화 목적함수에 관련 운영 고려사항이 누락되었을 때 추천된 설정을 검토하는 부담을 가중시킵니다. 본 논문에서는 획득 가치(acquisition value)의 손실(loss)을 명시적으로 제어하면서 기본 설정 대비 영향력이 적은 편차를 가지치기(pruning)하는 기본값 인식(default-aware) BO 정책인 BONSAI를 소개합니다. BONSAI는 기대 개선량(expected improvement)과 상한 신뢰 구간(GP-UCB)을 포함한 다양한 획득 함수(acquisition function)와 호환됩니다. 우리는 BONSAI에 의해 발생하는 후회(regret)의 이론적 상계를 제시하여, 적절한 조건 하에서 기본 GP-UCB의 무후회(no-regret) 특성을 유지하면서 무관한 변경사항을 제거함을 증명합니다. 다양한 실제 응용 전반에 걸쳐, BONSAI가 실행 시간(wall time)에 거의 영향을 주지 않으면서 경쟁력 있는 최적화 성능을 유지함과 동시에 추천 설정에서 기본값이 아닌 파라미터의 수를 실질적으로 줄임을 실험적으로 확인했습니다. BONSAI의 후보 생성 비용은 표준 BO 대비 평균 1.5배에 불과하여, 기존 희소(sparse) BO 기법들의 7~34배와 대비됩니다.