arXiv:2609.27855v1 cs.AI

AI 시스템에서의 도달 가능한 전역 최적화: 전역적이라는 것은 얼마나 전역적인가?

Reachable Global Optimization in AI Systems: How Global Is Global?

Wesley Shu

제출 2026-09-24

한국어 초록

AI 시스템은 프롬프트, 정책, 아키텍처, 계획, 도구 사용 궤적, 추론 경로, 테스트 시간 연산(test-time computation)을 최적화(optimization)한다고 점점 더 많이 주장하고 있습니다. 본 논문에서는 최적화를 수행한 시스템이 실제로 도달 가능한(reachable) 영역을 명시하지 않는 한 이러한 주장은 명확하지 않다고(underspecified) 주장합니다. 우리는 생성기, 검증기(verifier), 제어기, 메모리, 도구 및 예산이 도달 가능한 후보 영역을 유도하는 모델인 RIO(Reachability-Induced Optimization)를 소개합니다. 따라서 반환된 해는 방문한 최적점, 근사 도달 가능 최적점, 또는 추가적인 증명서(certificate)가 도달 가능 영역을 전체 형식 공간과 연계할 때에만 정확한 전역 최적점(global optimum)이 됩니다. 우리는 도달 가능 최적성, 거짓 전역성(false-globality), 격차 분해(gap-decomposition), 증명서, 탈출, 가지치기(pruning) 및 제어 가치 결과를 증명합니다. 전체 벤치마크(benchmark) 기록에는 6개의 기저 최적값 환경 군(known-optimum landscape families), 7개의 제어 정책, 270개의 환경, 환경-방법당 35회의 실행에 걸쳐 실행된 66,150회의 시험(trial)이 포함되어 있습니다. 온라인 부록에는 원시 시험 기록, 집계 표, 그림, 벤치마크 코드, 검증(validation) 스크립트 및 체크섬이 포함되어 있습니다. 결과는 제어가 도달 가능성을 제한, 확장 또는 잘못 유도할 수 있으며, 최적화 품질, 도달 가능성 품질 및 제어 신뢰성을 분리하여 보고해야 함을 보여줍니다.

원문 초록

AI systems increasingly claim to optimize prompts, policies, architectures, plans, tool-use trajectories, reasoning traces, and test-time computation. This paper argues that such claims are underspecified unless they state the region actually reachable by the system that performed the optimization. We introduce Reachability-Induced Optimization (RIO), a model in which a generator, verifier, controller, memory, tools, and budget induce a reachable candidate region. The returned solution is therefore a best visited point, an approximate reachable optimum, or an exact global optimum only when additional certificates relate the reachable region to the full formal space. We prove reachable-optimality, false-globality, gap- decomposition, certificate, escape, pruning, and control-value results. The full benchmark record contains 66,150 executed trials over six known-optimum landscape families, seven control policies, 270 landscapes, and 35 runs per landscape-method. The online appendix includes raw trial records, aggregate tables, figures, benchmark code, validation scripts, and checksums. The results show that control can restrict, expand, or misdirect reachability, and that optimization quality, reachability quality, and control reliability must be reported separately.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27855v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.03614v4cs.LG공통 태그 global optimization

노이즈가 있는 1차원 함수의 전역 최솟값 원샷 위치 추정: 세트 트랜스포머 및 고전적 추정량과 비교한 반복 신경망 최소화기

One-Shot Localisation of the Global Minimum of a Noisy One-Dimensional Function: An Iterative Neural Minimizer Compared with Set Transformers and Classical Estimators

본 연구에서는 수동적 형태의 전역 최적화(global optimisation)를 다룹니다. 즉, 미지의 1차원 함수에서 노이즈가 포함된 20개의 샘플만 주어졌을 때, 추가적인 쿼리 없이 전역 최솟값의 위치를 예측하는 문제입니다. 우리는 정의역 전반에 걸쳐 위치를 이동하며 매 단계마다 해당 위치 근처의 샘플을 읽고 전체 20개 샘플 모두에 어텐션을 적용하는 반복 모델인 신경망 함수 최소화기(NFM, Neural Function Minimizer)를 소개합니다. 그리고 동일한 데이터로 학습된 동일한 크기의 두 가지 세트 트랜스포머(단일 점으로 답하는 모델 및 후보 위치들의 혼합으로 답하는 모델) 및 고전적인 제로 쿼리 추정량들과 학습 모델당 3개의 학습 시드에 걸쳐 비교합니다. 학습 계열에서 제외된 홀드아웃 사례에서 세 학습 모델은 위치 오차 면에서 동률을 이루었으며, 각각은 평균적으로 모든 고전적 추정량보다 더 정확했습니다. 가우스 과정(Gaussian process) 사후 argmin과 비교했을 때 NFM의 오차는 정의역 기준 1.3포인트 더 낮았습니다. 또한 NFM은 단일 점 세트 트랜스포머보다 후회(regret)가 낮았고, 사례별 불확실성은 해당 모델보다 더 나은 가능도를 보였으며 혼합 모델보다 오차 기준 사례 순위 매김을 더 잘 수행했습니다. 가우스 과정과 혼합 모델은 더 낮은 후회를 보였으며, 학습 계열 외부의 함수에서는 가우스 과정이 가장 정확한 추정량이었습니다. 두 골짜기의 깊이가 동일한 경우, 추정량의 구조가 아닌 응답 형태가 특정 골짜기를 선택할지 아니면 골짜기 사이의 값을 답할지를 결정합니다. 즉, 학습 모델이든 스플라인 기반이든 거리에 맞춰 단일 점을 반환하는 모든 추정량은 정확히 동률인 경우의 5분의 1에서 거의 3분의 1 수준에서 양다리를 걸치는(hedge) 경향을 보인 반면, 최빈값(mode)을 제시하는 추정량은 확실히 선택을 내렸으며, 가우스 과정 사후분포는 중앙값으로 요약되는지 최빈값으로 요약되는지에 따라 두 동작을 모두 보였습니다. 우리는 벤치마크와 자체 검증 하네스를 공개할 예정이며, 테스트 사례는 서로 다른 머신에서도 동일하고 결과는 반올림 수준까지 일치합니다.

arXiv:2508.20458v2cs.NE공통 태그 global optimization

생태 순환 옵티마이저: 비볼록 전역 최적화를 위한 새로운 자연 모사 메타휴리스틱 알고리즘

Ecological Cycle Optimizer: A novel nature-inspired metaheuristic algorithm for non-convex global optimization

본 논문은 생태계 내 에너지 흐름과 물질 순환에서 영감을 받은 새로운 메타휴리스틱 알고리즘인 생태 순환 옵티마이저(Ecological Cycle Optimizer, ECO)를 제안한다. ECO는 최적화 문제를 푸는 동적 과정과 생태 순환 사이의 유추를 이룬다. 생산자(producer), 소비자(consumer), 분해자(decomposer)를 위해 고유한 갱신 전략을 설계하여 탐험과 활용 과정 간의 균형을 향상시키는 것을 목표로 한다. 이러한 전략을 통해 ECO는 생태계가 안정과 균형의 최적 상태를 향해 진화하는 과정을 모사하여 전역 최적값에 접근할 수 있다. 또한 23개의 고전적 최적화 함수에 대해 매개변수 민감도 분석을 수행하여 ECO에 적합한 기본 설정을 결정한다. 또한 30개의 경쟁력 있는 메타휴리스틱 알고리즘을 선정하여 알고리즘 풀을 구성하고, IEEE CEC-2014 및 CEC-2017 테스트 스위트에서 포괄적인 실험을 수행한다. 이 중 ARO, CFOA, CSA, WSO, INFO의 다섯 가지 최고 성능 알고리즘을 선정하여 IEEE CEC-2020 테스트 스위트에서 ECO와 심층 비교를 수행하고, ECO의 뛰어난 최적화 성능을 검증한다. 마지막으로, 복잡한 실세계 공학 문제에서 ECO의 실용적 적용 가능성을 검증하기 위해 FDB-AGDE, FDB-SFS, LRFDB-COA, L-SHADE, NSM-SFS를 포함한 다섯 가지 최신 알고리즘을 선정하여 CEC-2020-RW 테스트 스위트의 다섯 가지 공학 문제에 대해 비교 실험을 수행하였으며, ECO가 고급 공학 지향 알고리즘 대비 경쟁력 있는 성능을 달성함을 보여준다. ECO 프로젝트 페이지는 https://jxxsteven7.github.io/ECO-Optimizer/ 에서 확인할 수 있다.

arXiv:2511.07836v5math.NA공통 태그 global optimization

초타원체 밀도 샘플링: 고차원 수치 최적화 가속을 위한 활용적 시퀀스

Hyperellipsoid Density Sampling: Exploitative Sequences to Accelerate High-Dimensional Numerical Optimization

차원의 저주는 현대 최적화 문제에서 여전히 지속적인 과제로 남아 있다. 탐색 공간을 더 높은 차원으로 확장하면 최적해를 찾는 난이도가 기하급수적으로 증가하여 기존 알고리즘을 비효율적으로 만든다. 본 연구는 고차원 최적화를 가속하기 위한 효율적인 샘플링 전략을 제시하며, 이는 균일 준몬테카를로(quasi-Monte Carlo, QMC) 방법의 대안이다. Hyperellipsoid Density Sampling(HDS)이라고 불리는 이 방법은 탐색 공간 전역에 여러 초타원체(hyperellipsoid)를 정의하여 시퀀스를 생성한다. HDS는 고차원 기하 계산을 우회하기 위해 세 가지 유형의 비지도 학습(unsupervised learning) 알고리즘을 활용하여, 매개변수 공간의 통계적으로 유망한 영역을 활용(exploit)하는 비균일 샘플 시퀀스를 생성한다. 분포를 관심 영역으로 기울일 수 있는 능력 덕분에 HDS는 전역 최적화를 넘어, 특정 영역에 집중된 샘플이 유리한 응용에도 다양하게 활용될 수 있다. HDS는 CEC2017 벤치마크 테스트 함수 29개로 구성된 어려운 세트에서 미분 진화(differential evolution, DE)를 사용하여, 높은 균일성을 갖는 QMC 샘플링 방법인 Sobol과 비교 평가되었다. 결과는 최종 해의 기하평균 오차(geometric mean error)에서 통계적으로 유의한 개선(p<0.05)을 보였으며, 평균 성능 향상은 10차원에서 37%부터 100차원에서 11%까지였다. 본 논문은 고차원 최적화에서 균일 QMC 샘플링에 대한 견고한 대안으로서 HDS의 효과를 입증한다.

arXiv:2606.26164v1cs.LG공통 태그 global optimization

\chisao{}: 수렴-반수렴 진동을 통한 다중모드 블랙박스 함수용 GPU 네이티브 병렬 옵티마이저

\chisao{}: A GPU-Native Parallel Optimizer for Multimodal Black-Box Functions via Convergence-Anticonvergence Oscillation

다중모드 블랙박스 함수의 모든 모드를 찾는 것은 최적화, 베이지안 추론, 과학 컴퓨팅에서 근본적인 과제이다. 기존 접근법—basin-hopping, CMA-ES, multistart 경사하강법—은 순차적으로 동작하며 현대 GPU 하드웨어의 대규모 병렬성을 활용할 수 없다. 우리는 \chisao{}(\textbf{C}onvergence-\textbf{H}alt-\textbf{I}nvert-\textbf{S}tick-\textbf{A}nd-\textbf{O}scillate)를 제안한다. 이는 전체 샘플 배치를 동시에 실행하는 GPU 네이티브 집단 옵티마이저로, 의도적인 수렴-반수렴 진동 주기를 활용하여 지역 함정에서 탈출하면서 확인된 모드는 동결한다. 구조적 이동은 비대칭적이다: 진정한 피크에 도달한 샘플은 동결(``stuck'')되어 보존되고, 나머지는 모멘텀 기반 반수렴과 확률적으로 평활화된 그래디언트를 통해 계속 탐색한다. Repulse Monkey와 Golden Rooster라는 두 가지 상보적 전략을 통한 적응적 재시드(reseeding)가 집단 다양성을 유지한다. 차원 $d \in \{2, 4, 8, 16, 32, 64\}$에 걸친 Simon Fraser University 최적화 벤치마크 스위트의 42개 함수 전체에서, \chisao{}는 가장 어려운 다중모드 함수에서 $d \geq 8$일 때 모든 CPU 기준선이 붕괴하는 경우에 \textbf{100\%} 모드 복구를 달성하며, 모든 방법이 성공하는 함수에서는 basin-hopping 대비 최대 \textbf{$34\times$} 속도 향상(Michalewicz $d=64$), 단일모드 함수에서는 최대 \textbf{$39\times$}(Rotated Hyper-Ellipsoid $d=64$, 순수 GPU 이득)를 기록한다. 모든 벤치마크는 목적 함수를 값만으로 평가한다—그래디언트는 유한 차분에서 나온다—따라서 보고된 속도 향상은 도함수 없는 최악의 경우이다. 상당한 가능도 노이즈($σ_{\mathrm{noise}}$ 최대 1.0) 하에서도 모드 탐지는 100\% 신뢰성을 유지한다. 이 알고리즘은 PyPI에서 독립형 오픈소스 Python 패키지로 제공된다.

arXiv:2606.26714v1cs.NE공통 태그 global optimization

전역 최적화를 위한 베지에 곡선상 랜덤 워크

Random Walk on Bézier Curves for Global Optimization

메타휴리스틱 최적화에서 탐험과 활용의 균형은 여전히 핵심 과제이다. 이 문제를 해결하기 위해 본 논문은 의사결정 공간에서 적응형 궤적 구성으로 진화 탐색을 재구성하는 기하학 기반 최적화 프레임워크인 Bézier Walk Evolution(BWE)을 제안한다. BWE는 베지에 곡선 모델링과 거리 인식 랜덤 워크 메커니즘을 통합하여 위상 유도 탐색 궤적을 생성한다. 진화 과정 동안 곡선 차수를 적응적으로 변화시킴으로써, 제안 방법은 다양화된 전역 탐험에서 정교한 국소 활용으로의 매끄러운 전환을 가능하게 한다. 고차 베지에 곡선은 다수의 집단 유래 제어점을 활용하여 탐색 다양성을 향상시키는 반면, 저차 곡선은 거의 선형적인 궤적을 생성하여 수렴 효율을 개선한다. 이 적응형 기하학적 탐색 메커니즘은 기존의 자연 모방 설계에 대한 해석 가능한 대안을 제공한다. CEC2017 및 CEC2022 스위트의 41개 벤치마크 함수(차원 10~100)에 대한 광범위한 실험 결과, BWE는 L-SHADE 및 CMA-ES를 포함한 7개의 고전적 최적화기와 6개의 최신(state-of-the-art) 최적화기 대비 강력한 전반적 성능과 우수한 확장성(scalability)을 달성했다. 5개의 제약 조건이 있는 엔지니어링 설계 문제에 대한 추가 평가는 BWE의 실용적 적용 가능성과 견고성을 더욱 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.