블랙박스 최적화에서 대리 모델로서의 인공 신경망
Artificial Neural Networks as Surrogate Models in Black Box Optimization
한국어 초록
블랙박스 최적화(Black-Box Optimization, BBO)는 여러 공학 분야에서 흔히 적용되며, 수치 측정 및 시뮬레이션 기술의 발전을 활용할 수 있다. 이는 해석적 기술(analytical description)이 존재하지 않는 최적화 함수를 다룬다. 이 방법은 탐색 공간 내의 입력점과, 센서, 실험, 시뮬레이션 등 비해석적 수단을 통해 얻어진 해당 목적 함수 값의 쌍만을 필요로 하는 방법에 의존한다. 일반적인 접근법으로는 진화적 최적화(evolutionary optimization)와 기타 메타휴리스틱(metaheuristics)이 있다. BBO 방법은 목적 함수 값에만 의존하기 때문에 일반적으로 많은 평가(evaluation)를 필요로 하며, 이는 목적 함수를 평가하는 데 시간이 많이 걸리거나 비용이 많이 드는 경우 문제가 된다. 이로 인해 선택된 실제 목적값을 평가하고 탐색 공간 전체에 걸쳐 목적 함수를 근사하는 회귀 모델을 학습시키는 대리 기반 최적화(surrogate-based optimization)를 사용하게 된다. 대리 모델 지원 블랙박스 최적화는 소량 데이터 학습(small-data learning) 문제인데, 이는 옵티마이저가 제한된 평가로부터 비용이 큰 목적 함수를 근사해야 하기 때문이다. 대리 모델은 데이터 효율적인 회귀자(regressor) 역할을 하며, 제한된 평가 예산(evaluation budget) 하에서 유망하거나 정보성이 높은 지점으로 탐색을 유도한다. 본 논문에서는 목적 함수의 선택적 평가를 위해 인공 신경망을 사용하는 새로운 대리 모델인 적응적 충실도 넥서스 공분산 행렬 적응 진화 전략(Adaptive-Fidelity Nexus Covariance Matrix Adaptation Evolution Strategy, AFN-CMA-ES)을 제안한다. 실험 결과는 최신(state-of-the-art) 대리 모델 지원 BBO 방법들과 비교하여 경쟁력 있는 성능을 보여준다.
원문 초록
Black-Box Optimization (BBO) is often applied in several engineering fields and can utilize an advancement of numerical measure- ments and simulation technologies. It deals with the optimization func- tions, where an analytical description is unavailable. It relies on meth- ods that require only an input point in the search space, paired with its corresponding objective function value, obtained through non-analytical means, e.g., sensors, experiments, or simulations. Common approaches include evolutionary optimization and other metaheuristics. Since BBO methods rely solely on objective function values, they typically require many evaluations, which becomes problematic when evaluating the ob- jective function is time-consuming or expensive. This leads to using surrogate-based optimization which evaluates selected true objective val- ues and trains a regression model to approximate the objective function across the search space. Surrogate-assisted black-box optimization is a small-data learning problem because the optimizer must approximate an expensive objective function from limited evaluations. Surrogate models act as data-efficient regressors, guiding the search toward promising or informative points under a restricted evaluation budget. In this paper, a new surrogate model using artificial neural networks, called Adaptive- Fidelity Nexus Covariance Matrix Adaptation Evolution Strategy (AFN- CMA-ES), is proposed for the selective evaluation of objective functions. The experimental results show its competitive performance compared to state-of-the-art surrogate-assisted BBO methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22329v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델을 활용한 온라인 자동 알고리즘 설계
Online Automated Algorithm Design with Large Language Models
대규모 언어 모델(LLM)은 추론과 코드 합성을 통해 자동 알고리즘 설계(AAD)를 가능하게 한다. 그러나 기존의 LLM 기반 AAD 방법 대부분은 알고리즘 설계와 대상 최적화를 분리하여, 최적화 상태가 변화하는 동안에도 고정된 설계를 그대로 배포한다. 기존의 적응형 옵티마이저는 이러한 변화에 대응할 수 있지만, 그 조정은 사전에 정의된 파라미터, 연산자 또는 전략의 범위에 국한된다. 이러한 한계를 해결하기 위해, 본 논문은 알고리즘 자체를 상태 의존적 결정 변수로 취급하는 새로운 최적화 패러다임인 온라인 LLM 기반 AAD를 제안한다. 각 단계에서 LLM 에이전트는 현재의 최적화 상태로부터 새로운 동작 로직을 갖춘 알고리즘을 합성한다. 생성된 알고리즘을 실행하면 탐색이 진행되고 이후 설계를 위한 피드백이 제공되므로, 별도의 오프라인 알고리즘 사전학습 단계 없이도 알고리즘 설계와 대상 최적화가 결합된다. 이 패러다임을 구현하기 위해 본 논문은 상충하는 설계 관점을 조율하여 실행 가능한 알고리즘을 합성하고, 실행 피드백을 활용해 이후 설계를 위해 런타임 증거를 해석하는 방식을 개선하는 멀티 에이전트 프레임워크인 OnDesign을 제안한다. 우리는 두 가지 주류 블랙박스 최적화 패러다임에 걸친 세 가지 시나리오, 즉 베이지안 최적화, 진화적 연속 최적화, 진화적 혼합 변수 최적화에서 OnDesign을 평가한다. 여섯 개의 벤치마크 스위트와 하나의 공학 문제에 대해 다양한 문제 차원에서 수행한 광범위한 실험을 통해, 기존 옵티마이저와 오프라인 LLM 기반 AAD 방법보다 우수한 전반적 성능을 보임을 입증한다.
NeurGO: 메타 블랙박스 고비용 최적화를 위한 엘리트 후보 생성 학습
NeurGO: Learning to Generate Elite Candidates for Meta-Black-Box Expensive Optimization
과학과 공학에서 고비용 블랙박스 최적화는 함수 평가가 비용이 크고 평가 예산이 제한적인 상황에서 널리 사용됩니다. 전통적인 진화 알고리즘과 메타 블랙박스 최적화(MetaBBO) 접근법은 일반적으로 대부분의 평가를 후보 선택에 소비하며, 종종 열등한 해에 소중한 예산을 낭비합니다. 서로게이트 보조 진화와 베이지안 최적화는 서로게이트 모델을 통해 평가 횟수를 줄이는 것을 목표로 하지만, 제한된 데이터로부터 정확한 전역 모델을 구축하는 것은 여전히 어려우며, 모델 바이어스가 탐색을 지역 최적해에 쉽게 갇히게 할 수 있습니다. 이러한 한계를 극복하기 위해, 우리는 역사적 개체군 상태로부터 엘리트 후보를 직접 합성하는 생성형 MetaBBO 프레임워크인 NeurGO를 제안합니다. 구체적으로, 개체군 수준의 탐색 추세를 포착하기 위해 어텐션 기반 인코더를 사용하고, 이 표현을 조건으로 디코더를 작동시켜 고품질 후보를 생성함으로써 대규모 자손 풀의 고비용 평가를 피합니다. 그다음 탐색 전반에 걸쳐 해의 품질과 개체군 다양성을 유지하기 위해 품질-다양성 손실을 설계합니다. CEC 2008 및 COCO BBOB 테스트 스위트에 대한 광범위한 벤치마킹을 통해, 우리 방법은 동일한 평가 예산 하에서 더 나은 최적화 성능을 달성하고 더 빠른 수렴을 보입니다.
노이즈 블랙박스 최적화를 위한 적응형 샘플링 기반 신뢰도 순위화
Confidence-based Ranking with Adaptive Sampling for Noisy Black-Box Optimisation
현실 세계의 최적화 문제는 종종 블랙박스 함수와 평가 과정의 불확실성을 포함하며, 이는 널리 노이즈 최적화 문제(NOPs)로 불린다. 진화 알고리즘(EA)은 진화 전략(ES)과 유전 알고리즘(GA)을 포함하여, 최근 문헌에서 이러한 문제를 해결하기 위해 널리 채택되어 왔다. 지속적인 과제는 양질의 적합도(fitness) 추정과 순위화를 위해 필요한 평가 횟수로 인한 계산 비용이다. NOPs에서 적합도 추정에 흔히 사용되는 두 가지 기본 방법은 암시적 평균화(implicit averaging)와 명시적 평균화(explicit averaging)이다. 명시적 평균화는 추정치를 개선하기 위해 해(solution)의 재샘플링(resampling)을 사용하는 반면, 암시적 평균화는 일반적으로 재샘플링을 적게 하면서 큰 집단 크기를 사용한다. 암시적 평균화는 특정 경우에 이론적 장점이 있는 것으로 나타났으며, 이는 최근 일부 접근법이 이를 사용하도록 동기를 부여했다. 그러나 최근 연구는 그 성능이 함수의 급기(steepness)와 일정한 노이즈 수준과 같은 특정 가정에 크게 의존하며, 이는 대다수의 현실 문제에 적용되지 않을 수 있음을 보였다. 게다가 기존 알고리즘의 대부분은 탐색 공간 전체에 걸쳐 변동의 진폭이 균일한 등분산(homoscedastic) 노이즈만을 고려했으며, 더 일반적인 이분산(heteroscedastic) 노이즈의 경우와는 대조적이다. 이러한 문제를 해결하기 위해, 우리는 이분산 테스트 문제 집합을 도입하고 샘플링 예산 적응을 갖춘 계산적으로 효율적인 명시적 평균화 전략을 사용하는 새로운 신뢰도 기반 순위화 방법을 제안한다. 이를 공분산 행렬 적응 ES(CMA-ES)와 GA 프레임워크 내에 구현하여 그 효과와 범용성을 입증한다. 결과 알고리즘은 등분산 및 이분산 노이즈를 모두 갖는 다양한 문제에서 평가되었으며, 최신(state-of-the-art) 접근법과 비교하여 우수한 성능을 보였다.
Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark
평가 예산이 제한된 최적화를 위한 REMBGO: CEC2022 벤치마킹 및 EAF-STATCOM 일반화
REMBGO for Evaluation-Limited Optimization: CEC2022 Benchmarking and EAF-STATCOM Generalization
메타휴리스틱(metaheuristic) 비교는 비용이 큰 공학 시뮬레이션이 감당할 수 있는 수준보다 훨씬 더 큰 평가 예산에서 보고되는 경우가 많습니다. 본 논문에서는 EMBGO를 평가 예산 인식형으로 개선한 REMBGO를 제시합니다. 본 연구의 기여는 특정 단일 연산자가 아니라, 부모 대비 이점이 제한된 함수 평가 예산 하에 집중되는 개체군 보존, 척도 정규화 탐험(exploration) 및 복구 메커니즘들의 통합에 있습니다. REMBGO는 CEC2022에서 실제 응용에 맞춘 주요 예산인 1040회 함수 평가를 바탕으로 평가되었으며, 통제된 가설군이라기보다는 예산 의존성을 특성화하기 위해 주변 예산 래더(budget ladder)를 기술적으로 보고했습니다. 구성 요소 제거(component-removal) 연구 결과 다중성 보정(multiplicity correction)을 통과하는 개별 메커니즘은 발견되지 않았으며, 이는 단일 연산자가 아닌 통합적 기여라는 점과 일치합니다. 이후 이 알고리즘은 EAF-STATCOM 제어기 튜닝에 적용되었고, 도출된 고정 게인 벡터는 재튜닝 없이 사전에 지정된 20개의 미확인 확률적 아크 실현($210$회 고정 게인 시뮬레이션, 모두 실행 가능)으로 전이되었습니다. 선택된 게인 벡터 주효과는 교차 검증(validation) 변량의 $3.6$--$5.8\%$만을 설명하는 반면, 상호작용 및 잔차는 약 $61.4\%$를 차지했으며, 매칭된 REMBGO-EMBGO 쌍체 차이는 부호 면에서 제어기에 따라 달라졌고 통계적으로 유의미하지 않았습니다. 따라서 REMBGO는 보편적으로 우수한 옵티마이저(optimizer)라기보다는 평가 예산과 함께 이점이 명시되어야 하는 자원 인식형 개선 기법으로 제시됩니다.
타원체 샘플링을 활용한 무매개변수 영차 최적화
Parameter-Free Zeroth-Order Optimization with Ellipsoidal Sampling
영차 최적화(zeroth-order optimization) 방법은 그래디언트 정보를 사용할 수 없거나 계산 비용이 많이 드는 블랙박스 문제를 해결하는 데 필수적입니다. 본 논문에서는 부분공간 사전조건화(subspace preconditioning)와 타원체 무작위 샘플링(ellipsoidal randomized sampling)을 통합하여 최근의 POEM 방법을 확장한 새로운 무매개변수(parameter-free) 확률적 영차 알고리즘인 POEM-ES를 제시합니다. 등방성(isotropic) 무작위 방향에 의존하는 전통적인 영차 접근 방식과 달리, POEM-ES는 기저의 저차원 기하학적 구조를 인코딩하는 고정된 구조적 대칭 양의 준부호(SPSD) 사전조건자 $\hatΣ$에 의해 유도되는 비등방성(anisotropic) 샘플링을 수행합니다. $λ_{\max}(\hatΣ) = 1$인 표준 구조적 스펙트럼 정규화 조건 하에서, 본 연구는 문제의 내재적 차원을 반영하고 샘플링 및 무작위 스무딩 매개변수 스케줄 모두를 유도하는 경험적 유효 차원 $d^* = \operatorname{tr}(\hatΣ)$의 활용을 도입합니다. 실제 적용에서 이러한 사전조건자는 파일럿 샘플링, 과거 궤적 또는 도메인 특화 전문가 지식을 통해 효과적으로 얻을 수 있습니다. 본 연구에서는 POEM-ES가 저계수 구조적 가정을 만족할 때 차원이 축소된 수렴 속도를 달성하며, 단지 $\tilde{\mathcal{O}}\left( \frac{\left( r^2 κ(\hatΣ) + d^* \right) L^2 D_{\mathcal{X}}^2}{\varepsilon^2} \right)$회의 확률적 영차 오라클 쿼리만을 요구함을 증명합니다. 제안된 방법은 완전히 매개변수 없이(parameter-free) 유지되며, $d^* \ll d$인 저계수 구조를 가진 문제에서 기존 POEM 대비 현저한 개선을 입증합니다. LibSVM 데이터셋을 사용한 힌지 손실 이진 분류 태스크에 대한 수치 실험은 제안된 접근법의 실질적인 우수성을 확인해 줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.