One-Shot Localisation of the Global Minimum of a Noisy One-Dimensional Function: An Iterative Neural Minimizer Compared with Set Transformers and Classical Estimators
본 연구에서는 수동적 형태의 전역 최적화(global optimisation)를 다룹니다. 즉, 미지의 1차원 함수에서 노이즈가 포함된 20개의 샘플만 주어졌을 때, 추가적인 쿼리 없이 전역 최솟값의 위치를 예측하는 문제입니다. 우리는 정의역 전반에 걸쳐 위치를 이동하며 매 단계마다 해당 위치 근처의 샘플을 읽고 전체 20개 샘플 모두에 어텐션을 적용하는 반복 모델인 신경망 함수 최소화기(NFM, Neural Function Minimizer)를 소개합니다. 그리고 동일한 데이터로 학습된 동일한 크기의 두 가지 세트 트랜스포머(단일 점으로 답하는 모델 및 후보 위치들의 혼합으로 답하는 모델) 및 고전적인 제로 쿼리 추정량들과 학습 모델당 3개의 학습 시드에 걸쳐 비교합니다. 학습 계열에서 제외된 홀드아웃 사례에서 세 학습 모델은 위치 오차 면에서 동률을 이루었으며, 각각은 평균적으로 모든 고전적 추정량보다 더 정확했습니다. 가우스 과정(Gaussian process) 사후 argmin과 비교했을 때 NFM의 오차는 정의역 기준 1.3포인트 더 낮았습니다. 또한 NFM은 단일 점 세트 트랜스포머보다 후회(regret)가 낮았고, 사례별 불확실성은 해당 모델보다 더 나은 가능도를 보였으며 혼합 모델보다 오차 기준 사례 순위 매김을 더 잘 수행했습니다. 가우스 과정과 혼합 모델은 더 낮은 후회를 보였으며, 학습 계열 외부의 함수에서는 가우스 과정이 가장 정확한 추정량이었습니다. 두 골짜기의 깊이가 동일한 경우, 추정량의 구조가 아닌 응답 형태가 특정 골짜기를 선택할지 아니면 골짜기 사이의 값을 답할지를 결정합니다. 즉, 학습 모델이든 스플라인 기반이든 거리에 맞춰 단일 점을 반환하는 모든 추정량은 정확히 동률인 경우의 5분의 1에서 거의 3분의 1 수준에서 양다리를 걸치는(hedge) 경향을 보인 반면, 최빈값(mode)을 제시하는 추정량은 확실히 선택을 내렸으며, 가우스 과정 사후분포는 중앙값으로 요약되는지 최빈값으로 요약되는지에 따라 두 동작을 모두 보였습니다. 우리는 벤치마크와 자체 검증 하네스를 공개할 예정이며, 테스트 사례는 서로 다른 머신에서도 동일하고 결과는 반올림 수준까지 일치합니다.
AI 시스템은 프롬프트, 정책, 아키텍처, 계획, 도구 사용 궤적, 추론 경로, 테스트 시간 연산(test-time computation)을 최적화(optimization)한다고 점점 더 많이 주장하고 있습니다. 본 논문에서는 최적화를 수행한 시스템이 실제로 도달 가능한(reachable) 영역을 명시하지 않는 한 이러한 주장은 명확하지 않다고(underspecified) 주장합니다. 우리는 생성기, 검증기(verifier), 제어기, 메모리, 도구 및 예산이 도달 가능한 후보 영역을 유도하는 모델인 RIO(Reachability-Induced Optimization)를 소개합니다. 따라서 반환된 해는 방문한 최적점, 근사 도달 가능 최적점, 또는 추가적인 증명서(certificate)가 도달 가능 영역을 전체 형식 공간과 연계할 때에만 정확한 전역 최적점(global optimum)이 됩니다. 우리는 도달 가능 최적성, 거짓 전역성(false-globality), 격차 분해(gap-decomposition), 증명서, 탈출, 가지치기(pruning) 및 제어 가치 결과를 증명합니다. 전체 벤치마크(benchmark) 기록에는 6개의 기저 최적값 환경 군(known-optimum landscape families), 7개의 제어 정책, 270개의 환경, 환경-방법당 35회의 실행에 걸쳐 실행된 66,150회의 시험(trial)이 포함되어 있습니다. 온라인 부록에는 원시 시험 기록, 집계 표, 그림, 벤치마크 코드, 검증(validation) 스크립트 및 체크섬이 포함되어 있습니다. 결과는 제어가 도달 가능성을 제한, 확장 또는 잘못 유도할 수 있으며, 최적화 품질, 도달 가능성 품질 및 제어 신뢰성을 분리하여 보고해야 함을 보여줍니다.
본 논문은 생태계 내 에너지 흐름과 물질 순환에서 영감을 받은 새로운 메타휴리스틱 알고리즘인 생태 순환 옵티마이저(Ecological Cycle Optimizer, ECO)를 제안한다. ECO는 최적화 문제를 푸는 동적 과정과 생태 순환 사이의 유추를 이룬다. 생산자(producer), 소비자(consumer), 분해자(decomposer)를 위해 고유한 갱신 전략을 설계하여 탐험과 활용 과정 간의 균형을 향상시키는 것을 목표로 한다. 이러한 전략을 통해 ECO는 생태계가 안정과 균형의 최적 상태를 향해 진화하는 과정을 모사하여 전역 최적값에 접근할 수 있다. 또한 23개의 고전적 최적화 함수에 대해 매개변수 민감도 분석을 수행하여 ECO에 적합한 기본 설정을 결정한다. 또한 30개의 경쟁력 있는 메타휴리스틱 알고리즘을 선정하여 알고리즘 풀을 구성하고, IEEE CEC-2014 및 CEC-2017 테스트 스위트에서 포괄적인 실험을 수행한다. 이 중 ARO, CFOA, CSA, WSO, INFO의 다섯 가지 최고 성능 알고리즘을 선정하여 IEEE CEC-2020 테스트 스위트에서 ECO와 심층 비교를 수행하고, ECO의 뛰어난 최적화 성능을 검증한다. 마지막으로, 복잡한 실세계 공학 문제에서 ECO의 실용적 적용 가능성을 검증하기 위해 FDB-AGDE, FDB-SFS, LRFDB-COA, L-SHADE, NSM-SFS를 포함한 다섯 가지 최신 알고리즘을 선정하여 CEC-2020-RW 테스트 스위트의 다섯 가지 공학 문제에 대해 비교 실험을 수행하였으며, ECO가 고급 공학 지향 알고리즘 대비 경쟁력 있는 성능을 달성함을 보여준다. ECO 프로젝트 페이지는 https://jxxsteven7.github.io/ECO-Optimizer/ 에서 확인할 수 있다.
차원의 저주는 현대 최적화 문제에서 여전히 지속적인 과제로 남아 있다. 탐색 공간을 더 높은 차원으로 확장하면 최적해를 찾는 난이도가 기하급수적으로 증가하여 기존 알고리즘을 비효율적으로 만든다. 본 연구는 고차원 최적화를 가속하기 위한 효율적인 샘플링 전략을 제시하며, 이는 균일 준몬테카를로(quasi-Monte Carlo, QMC) 방법의 대안이다. Hyperellipsoid Density Sampling(HDS)이라고 불리는 이 방법은 탐색 공간 전역에 여러 초타원체(hyperellipsoid)를 정의하여 시퀀스를 생성한다. HDS는 고차원 기하 계산을 우회하기 위해 세 가지 유형의 비지도 학습(unsupervised learning) 알고리즘을 활용하여, 매개변수 공간의 통계적으로 유망한 영역을 활용(exploit)하는 비균일 샘플 시퀀스를 생성한다. 분포를 관심 영역으로 기울일 수 있는 능력 덕분에 HDS는 전역 최적화를 넘어, 특정 영역에 집중된 샘플이 유리한 응용에도 다양하게 활용될 수 있다. HDS는 CEC2017 벤치마크 테스트 함수 29개로 구성된 어려운 세트에서 미분 진화(differential evolution, DE)를 사용하여, 높은 균일성을 갖는 QMC 샘플링 방법인 Sobol과 비교 평가되었다. 결과는 최종 해의 기하평균 오차(geometric mean error)에서 통계적으로 유의한 개선(p<0.05)을 보였으며, 평균 성능 향상은 10차원에서 37%부터 100차원에서 11%까지였다. 본 논문은 고차원 최적화에서 균일 QMC 샘플링에 대한 견고한 대안으로서 HDS의 효과를 입증한다.
다중모드 블랙박스 함수의 모든 모드 탐색을 위해 ChiSao는 GPU에서 샘플 배치를 병렬 실행하고, 수렴-반수렴 진동으로 지역 함정을 벗어나며 확인된 모드는 동결하는 집단 옵티마이저이다. Simon Fraser University 벤치마크 42개 함수에서 차원 8 이상에서 CPU 기준선이 실패하는 다중모드 문제에서도 100% 모드 복구를 달성하고 basin-hopping 대비 최대 34배 속도 향상을 보였다.
메타휴리스틱 최적화에서 탐험과 활용의 균형 문제를 해결하기 위해, 베지에 곡선 모델링과 거리 인식 랜덤 워크를 결합한 Bézier Walk Evolution(BWE)을 제안하고 곡선 차수를 적응적으로 조절해 전역 탐험에서 국소 활용으로 매끄럽게 전환한다. CEC2017·CEC2022 41개 벤치마크(차원 10~100)와 5개 제약 엔지니어링 설계 문제에서 L-SHADE·CMA-ES 등 기존 최적화기 대비 강한 전반적 성능과 우수한 확장성을 보였다.