PyTorchKR Papers

최신 논문

총 19편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38561v2math.OC

타원체 샘플링을 활용한 무매개변수 영차 최적화

Parameter-Free Zeroth-Order Optimization with Ellipsoidal Sampling

영차 최적화(zeroth-order optimization) 방법은 그래디언트 정보를 사용할 수 없거나 계산 비용이 많이 드는 블랙박스 문제를 해결하는 데 필수적입니다. 본 논문에서는 부분공간 사전조건화(subspace preconditioning)와 타원체 무작위 샘플링(ellipsoidal randomized sampling)을 통합하여 최근의 POEM 방법을 확장한 새로운 무매개변수(parameter-free) 확률적 영차 알고리즘인 POEM-ES를 제시합니다. 등방성(isotropic) 무작위 방향에 의존하는 전통적인 영차 접근 방식과 달리, POEM-ES는 기저의 저차원 기하학적 구조를 인코딩하는 고정된 구조적 대칭 양의 준부호(SPSD) 사전조건자 $\hatΣ$에 의해 유도되는 비등방성(anisotropic) 샘플링을 수행합니다. $λ_{\max}(\hatΣ) = 1$인 표준 구조적 스펙트럼 정규화 조건 하에서, 본 연구는 문제의 내재적 차원을 반영하고 샘플링 및 무작위 스무딩 매개변수 스케줄 모두를 유도하는 경험적 유효 차원 $d^* = \operatorname{tr}(\hatΣ)$의 활용을 도입합니다. 실제 적용에서 이러한 사전조건자는 파일럿 샘플링, 과거 궤적 또는 도메인 특화 전문가 지식을 통해 효과적으로 얻을 수 있습니다. 본 연구에서는 POEM-ES가 저계수 구조적 가정을 만족할 때 차원이 축소된 수렴 속도를 달성하며, 단지 $\tilde{\mathcal{O}}\left( \frac{\left( r^2 κ(\hatΣ) + d^* \right) L^2 D_{\mathcal{X}}^2}{\varepsilon^2} \right)$회의 확률적 영차 오라클 쿼리만을 요구함을 증명합니다. 제안된 방법은 완전히 매개변수 없이(parameter-free) 유지되며, $d^* \ll d$인 저계수 구조를 가진 문제에서 기존 POEM 대비 현저한 개선을 입증합니다. LibSVM 데이터셋을 사용한 힌지 손실 이진 분류 태스크에 대한 수치 실험은 제안된 접근법의 실질적인 우수성을 확인해 줍니다.

arXiv:2604.09095v4cs.LG

연속 블랙박스 최적화의 알고리즘 선택을 위한 기하학적 프로빙

Geometric Probing for Algorithm Selection in Continuous Black-Box Optimization

연속 블랙박스 최적화(continuous black-box optimization)를 위한 자동화된 알고리즘 선택은 제한된 프로빙(probing) 예산 내에서 문제로부터 어떤 정보를 획득하고 그 정보를 어떻게 표현하는지에 따라 결정됩니다. 본 연구에서는 위치, 방향 및 스케일에 걸쳐 다중 스케일 2차원 제한(restriction)을 샘플링하고, 유효성 인식 합성곱(validity-aware convolutional) 처리 및 순열 불변(permutation-invariant) 집계를 통해 정규화된 목적 함수 값 맵을 인코딩하는 기하학적 프로빙 프레임워크를 제안합니다. 동일한 예산 조건, 문제 내 및 문제 수준 전이, 융합, 표현 및 예산 분석 하에서 제안 기법을 고전적 ELA 및 Deep-ELA와 비교합니다. 나아가 통제된 절제 연구(ablation study)를 통해 프로브 획득과 프로브 처리를 분리하여 분석합니다. 실험 결과에 따르면 제안된 시각적 표현은 ELA 계열 특징(feature)과 상호 보완적인 솔버 성능 정보를 드러내며, 문제 수준 전이 상황에서 상대적 기대 실행 시간 측면의 상대적 우위를 유지하는 반면, 더 넓은 탐색 범위나 더 풍부한 특징, 혹은 예측 용이성만으로는 더 나은 알고리즘 선택을 보장하지 못함을 보여줍니다.

arXiv:2609.19437v2cs.LG

LLM을 통한 풍부한 보조 정보를 활용한 베이즈 최적화

Bayesian Optimization with Rich Auxiliary Information via LLMs

베이즈 최적화(Bayesian Optimization, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되지만, 일반적으로 각 고비용 실험을 입력값과 목적함수 값으로만 단순화하여 실험에서 생성되는 많은 정보를 버립니다. 이러한 보조 정보에는 하이퍼파라미터 최적화에서의 학습 곡선, 과학 실험에서의 전문가 노트 및 이미지, 또는 특정 최적화 문제에 대해 알려진 사실 등이 포함될 수 있습니다. 대규모 언어 모델(LLM)이 다양하고 비정형화된 정보를 처리할 수 있는 능력을 활용하여, 본 논문에서는 두 가지 방법을 소개합니다. 즉, 보조 정보를 사용하여 최적값의 위치에 대한 신념을 발전시키는 AuxBO-Evolve와, 보조 정보를 활용해 획득 함수(acquisition function)를 국소적으로 안내하는 AuxBO-Vicinity입니다. 합성 작업, 하이퍼파라미터 최적화 벤치마크, 과학자가 작성한 비정형 로그가 포함된 핵융합 작업 전반에서 제안 방법들은 최적화 성능을 일관되게 향상시키며 표준 BO 및 기존 LLM 기반 접근법들을 능가합니다. 나아가 본 연구는 LLM이 점별(pointwise) 목적함수 값을 모델링하기보다는 유력한 최대화 지점의 위치를 모델링할 때 더욱 효과적인 확률론적 가이드를 제공한다는 점을 밝혀냈습니다. 전반적으로 본 연구 결과는 표준 $(\mathbf{x}, y)$ 상호작용을 넘어선 풍부한 정보를 활용하는 것이 BO 성능을 대폭 향상시킬 수 있음을 입증합니다.

arXiv:2609.25325v1cs.NE

대규모 언어 모델을 활용한 온라인 자동 알고리즘 설계

Online Automated Algorithm Design with Large Language Models

대규모 언어 모델(LLM)은 추론과 코드 합성을 통해 자동 알고리즘 설계(AAD)를 가능하게 한다. 그러나 기존의 LLM 기반 AAD 방법 대부분은 알고리즘 설계와 대상 최적화를 분리하여, 최적화 상태가 변화하는 동안에도 고정된 설계를 그대로 배포한다. 기존의 적응형 옵티마이저는 이러한 변화에 대응할 수 있지만, 그 조정은 사전에 정의된 파라미터, 연산자 또는 전략의 범위에 국한된다. 이러한 한계를 해결하기 위해, 본 논문은 알고리즘 자체를 상태 의존적 결정 변수로 취급하는 새로운 최적화 패러다임인 온라인 LLM 기반 AAD를 제안한다. 각 단계에서 LLM 에이전트는 현재의 최적화 상태로부터 새로운 동작 로직을 갖춘 알고리즘을 합성한다. 생성된 알고리즘을 실행하면 탐색이 진행되고 이후 설계를 위한 피드백이 제공되므로, 별도의 오프라인 알고리즘 사전학습 단계 없이도 알고리즘 설계와 대상 최적화가 결합된다. 이 패러다임을 구현하기 위해 본 논문은 상충하는 설계 관점을 조율하여 실행 가능한 알고리즘을 합성하고, 실행 피드백을 활용해 이후 설계를 위해 런타임 증거를 해석하는 방식을 개선하는 멀티 에이전트 프레임워크인 OnDesign을 제안한다. 우리는 두 가지 주류 블랙박스 최적화 패러다임에 걸친 세 가지 시나리오, 즉 베이지안 최적화, 진화적 연속 최적화, 진화적 혼합 변수 최적화에서 OnDesign을 평가한다. 여섯 개의 벤치마크 스위트와 하나의 공학 문제에 대해 다양한 문제 차원에서 수행한 광범위한 실험을 통해, 기존 옵티마이저와 오프라인 LLM 기반 AAD 방법보다 우수한 전반적 성능을 보임을 입증한다.

arXiv:2609.22329v1cs.NE

블랙박스 최적화에서 대리 모델로서의 인공 신경망

Artificial Neural Networks as Surrogate Models in Black Box Optimization

블랙박스 최적화(Black-Box Optimization, BBO)는 여러 공학 분야에서 흔히 적용되며, 수치 측정 및 시뮬레이션 기술의 발전을 활용할 수 있다. 이는 해석적 기술(analytical description)이 존재하지 않는 최적화 함수를 다룬다. 이 방법은 탐색 공간 내의 입력점과, 센서, 실험, 시뮬레이션 등 비해석적 수단을 통해 얻어진 해당 목적 함수 값의 쌍만을 필요로 하는 방법에 의존한다. 일반적인 접근법으로는 진화적 최적화(evolutionary optimization)와 기타 메타휴리스틱(metaheuristics)이 있다. BBO 방법은 목적 함수 값에만 의존하기 때문에 일반적으로 많은 평가(evaluation)를 필요로 하며, 이는 목적 함수를 평가하는 데 시간이 많이 걸리거나 비용이 많이 드는 경우 문제가 된다. 이로 인해 선택된 실제 목적값을 평가하고 탐색 공간 전체에 걸쳐 목적 함수를 근사하는 회귀 모델을 학습시키는 대리 기반 최적화(surrogate-based optimization)를 사용하게 된다. 대리 모델 지원 블랙박스 최적화는 소량 데이터 학습(small-data learning) 문제인데, 이는 옵티마이저가 제한된 평가로부터 비용이 큰 목적 함수를 근사해야 하기 때문이다. 대리 모델은 데이터 효율적인 회귀자(regressor) 역할을 하며, 제한된 평가 예산(evaluation budget) 하에서 유망하거나 정보성이 높은 지점으로 탐색을 유도한다. 본 논문에서는 목적 함수의 선택적 평가를 위해 인공 신경망을 사용하는 새로운 대리 모델인 적응적 충실도 넥서스 공분산 행렬 적응 진화 전략(Adaptive-Fidelity Nexus Covariance Matrix Adaptation Evolution Strategy, AFN-CMA-ES)을 제안한다. 실험 결과는 최신(state-of-the-art) 대리 모델 지원 BBO 방법들과 비교하여 경쟁력 있는 성능을 보여준다.

arXiv:2607.23408v1cs.AI

NeurGO: 메타 블랙박스 고비용 최적화를 위한 엘리트 후보 생성 학습

NeurGO: Learning to Generate Elite Candidates for Meta-Black-Box Expensive Optimization

과학과 공학에서 고비용 블랙박스 최적화는 함수 평가가 비용이 크고 평가 예산이 제한적인 상황에서 널리 사용됩니다. 전통적인 진화 알고리즘과 메타 블랙박스 최적화(MetaBBO) 접근법은 일반적으로 대부분의 평가를 후보 선택에 소비하며, 종종 열등한 해에 소중한 예산을 낭비합니다. 서로게이트 보조 진화와 베이지안 최적화는 서로게이트 모델을 통해 평가 횟수를 줄이는 것을 목표로 하지만, 제한된 데이터로부터 정확한 전역 모델을 구축하는 것은 여전히 어려우며, 모델 바이어스가 탐색을 지역 최적해에 쉽게 갇히게 할 수 있습니다. 이러한 한계를 극복하기 위해, 우리는 역사적 개체군 상태로부터 엘리트 후보를 직접 합성하는 생성형 MetaBBO 프레임워크인 NeurGO를 제안합니다. 구체적으로, 개체군 수준의 탐색 추세를 포착하기 위해 어텐션 기반 인코더를 사용하고, 이 표현을 조건으로 디코더를 작동시켜 고품질 후보를 생성함으로써 대규모 자손 풀의 고비용 평가를 피합니다. 그다음 탐색 전반에 걸쳐 해의 품질과 개체군 다양성을 유지하기 위해 품질-다양성 손실을 설계합니다. CEC 2008 및 COCO BBOB 테스트 스위트에 대한 광범위한 벤치마킹을 통해, 우리 방법은 동일한 평가 예산 하에서 더 나은 최적화 성능을 달성하고 더 빠른 수렴을 보입니다.

arXiv:2607.14936v1cs.NE

노이즈 블랙박스 최적화를 위한 적응형 샘플링 기반 신뢰도 순위화

Confidence-based Ranking with Adaptive Sampling for Noisy Black-Box Optimisation

현실 세계의 최적화 문제는 종종 블랙박스 함수와 평가 과정의 불확실성을 포함하며, 이는 널리 노이즈 최적화 문제(NOPs)로 불린다. 진화 알고리즘(EA)은 진화 전략(ES)과 유전 알고리즘(GA)을 포함하여, 최근 문헌에서 이러한 문제를 해결하기 위해 널리 채택되어 왔다. 지속적인 과제는 양질의 적합도(fitness) 추정과 순위화를 위해 필요한 평가 횟수로 인한 계산 비용이다. NOPs에서 적합도 추정에 흔히 사용되는 두 가지 기본 방법은 암시적 평균화(implicit averaging)와 명시적 평균화(explicit averaging)이다. 명시적 평균화는 추정치를 개선하기 위해 해(solution)의 재샘플링(resampling)을 사용하는 반면, 암시적 평균화는 일반적으로 재샘플링을 적게 하면서 큰 집단 크기를 사용한다. 암시적 평균화는 특정 경우에 이론적 장점이 있는 것으로 나타났으며, 이는 최근 일부 접근법이 이를 사용하도록 동기를 부여했다. 그러나 최근 연구는 그 성능이 함수의 급기(steepness)와 일정한 노이즈 수준과 같은 특정 가정에 크게 의존하며, 이는 대다수의 현실 문제에 적용되지 않을 수 있음을 보였다. 게다가 기존 알고리즘의 대부분은 탐색 공간 전체에 걸쳐 변동의 진폭이 균일한 등분산(homoscedastic) 노이즈만을 고려했으며, 더 일반적인 이분산(heteroscedastic) 노이즈의 경우와는 대조적이다. 이러한 문제를 해결하기 위해, 우리는 이분산 테스트 문제 집합을 도입하고 샘플링 예산 적응을 갖춘 계산적으로 효율적인 명시적 평균화 전략을 사용하는 새로운 신뢰도 기반 순위화 방법을 제안한다. 이를 공분산 행렬 적응 ES(CMA-ES)와 GA 프레임워크 내에 구현하여 그 효과와 범용성을 입증한다. 결과 알고리즘은 등분산 및 이분산 노이즈를 모두 갖는 다양한 문제에서 평가되었으며, 최신(state-of-the-art) 접근법과 비교하여 우수한 성능을 보였다.

arXiv:2607.14008v1cs.LG

Lighthouse RL: 전략적 리셋 지점을 통한 샘플 효율적 회로 최적화

Lighthouse RL: Sample-Efficient Circuit Optimization via Strategic Reset Points

본 논문에서는 아날로그 회로 사이징(analog circuit sizing)을 위한 샘플 효율적인 강화학습(RL) 방법인 Lighthouse RL을 제안한다. 기존 방법은 서로 다른 성능 목표에 대한 일반화가 부족하고, 표준 강화학습 접근법은 유망하지 않은 영역을 탐험하는 데 자원을 낭비한다. 우리 방법은 학습 과정에서 발견된 고성능 구성으로 에피소드를 초기화하는 전략적 리셋 전략을 통해 이러한 비효율을 해결하며, 이러한 상태를 "lighthouse"라고 부른다. 이러한 상태는 목표 목적함수에 더 가까워, 탐험을 유망한 영역으로 이끈다. 문헌의 강화학습 및 베이지안 최적화(Bayesian optimization) 방법과 비교했을 때, 우리는 2D 벤치마크 문제와 두 개의 아날로그 회로에서 접근법의 효과를 입증하며, 샘플 효율성(최대 1.72배 빠름), 최적화 성능(성공률 100% vs. 0-87%), 일반화(외삽 성공률 75% vs. 0-50%), 목적함수 극대화에서 유의미한 개선을 보였다. 이러한 효율성은 계산 비용이 큰 블랙박스 최적화(black-box optimization) 문제에서 특히 가치가 있으며, 우리의 리셋 전략은 RL 기반 최적화 접근법에 플러그앤플레이(plug-and-play)식 개선으로 적용할 수 있다.

arXiv:2509.21725v3cs.LG

이중 수준 최적화 문제를 위한 정보 이론적 베이즈 최적화

Information-Theoretic Bayesian Optimization for Bilevel Optimization Problems

이중 수준 최적화(bilevel optimization) 문제는 상위 수준 문제와 하위 수준 문제로 중첩된 두 최적화 문제로 구성되며, 하위 수준 문제의 최적성이 상위 수준 문제의 제약 조건을 정의한다. 본 논문은 상위 수준과 하위 수준 모두 비용이 큰 블랙박스(black-box) 함수를 포함하는 경우에 대해 베이즈 최적화(BO, Bayesian optimization)를 고려한다. 중첩 구조로 인해 이중 수준 최적화는 복잡한 문제 정의를 가지며, 이로 인해 이중 수준 BO는 다목적(multi-objective) 또는 제약(constraint) 문제와 같은 BO의 다른 표준 확장들에 비해 널리 연구되지 않았다. 우리는 상위 최적해와 하위 최적해 및 그 값들의 정보 이득(information gain)을 모두 고려하는 정보 이론적(information-theoretic) 접근 방식을 제안한다. 이를 통해 두 수준의 문제 모두에 대한 이점을 동시에 측정하는 통합 기준을 정의할 수 있다. 또한, 정보 이득을 평가하기 위한 실용적인 하한(lower bound) 기반 접근 방식도 제시한다. 여러 벤치마크 데이터셋을 통해 제안된 방법의 효과를 실증적으로 입증한다.

arXiv:2602.03466v5quant-ph

Quantum Circuit Generation via test-time learning with large language models

에피소딕 메모리, 점수 차이 피드백, 최적 지점 재시작 샘플링을 결합한 메모리 증강 테스트 시간 최적화 프레임워크를 제안하여 대규모 언어 모델(LLM)을 블랙박스 양자 회로 합성 최적화기로 활용한다. 25큐비트 회로 합성 태스크에서 45회의 오라클 호출 내에 Meyer-Wallach 전역 얽힘 측도 Q(ψ)=1.0을 달성하며, 동일 예산의 무작위 힐 클라이밍 기준선(Q≲0.29)을 크게 상회하는 샘플 효율성을 입증했다.

arXiv:2604.13230v2cs.LG

랜덤 투영을 통한 차원 축소가 경관 특징을 보존하는가

Does Dimensionality Reduction via Random Projections Preserve Landscape Features?

랜덤 가우시안 임베딩(RGE)을 통한 차원 축소가 탐색적 경관 분석(ELA) 특징의 견고성에 미치는 영향을 BBOB 벤치마크 문제군으로 체계적으로 분석한 연구로, 선형 랜덤 투영이 ELA 관련 기하학적·위상적 구조를 빈번히 왜곡하여 대부분의 특징이 원래 문제의 내재적 특성을 반영하지 못함을 밝혔다. 소수의 특징은 비교적 안정적이나 투영으로 인한 아티팩트를 반영할 수 있어, 견고성이 곧 정보성을 보장하지 않는다는 점을 지적한다.

arXiv:2607.07854v1cs.NE

탐색적 경관 분석 맥락에서 제한된 데이터 조건의 무작위 부분공간 샘플링

Sampling on Random Subspaces under Limited Data in the Context of Exploratory Landscape Analysis

제한된 평가 예산 환경에서 탐색적 경관 분석(ELA)의 경관 기술자 안정성이 저하되는 문제를 해결하기 위해, 전체 결정 공간 대신 무작위 선형 임베딩(random linear embedding) 기반의 저차원 부분공간에 샘플링 예산을 집중하는 전략을 제안한다. BBOB 벤치마크 20차원 설정 실험 결과, 임베딩 기반 샘플링이 일부 ELA 특징 집합의 강건성을 향상시키는 유망한 대안임을 확인하였으나, 효과는 특징 클래스와 대상 문제에 따라 달라진다.

arXiv:2606.30335v1cs.AI

BayesEvolve: 자율 과학적 발견을 위한 명시적 신념 상태

BayesEvolve: Explicit Belief States for Autonomous Scientific Discovery

자율 과학적 발견 시스템은 새로운 가설을 제안하기 위해 점점 더 대규모 언어 모델(LLM)을 활용하고 있지만, 이러한 시스템의 대부분은 주로 실험 메모리, 즉 높은 점수를 받은 후보들의 아카이브나 최근 시도에 대한 휴리스틱 요약에 조건부로 동작한다. 우리는 발견 에이전트가 가설 품질에 대한 명시적이고 불확실성을 인식하는 신념을 유지해야 한다고 주장한다. 우리는 BayesEvolve를 소개한다. 이는 실험적 증거를 예측적 신념 상태로 변환하고, 이 신념을 사용하여 향후 실험을 안내하는 신념 기반 발견 프레임워크이다. 신념 기반 발견을 위한 제어된 테스트베드로서, 우리는 이동된 BBOB 스타일의 블랙박스 최적화 태스크에서 BayesEvolve를 평가하며, 프로그램 및 실험실 발견 도메인은 향후 연구로 남긴다. BayesEvolve는 고정된 평가 예산 하에서 메모리 및 아카이브 기반 LLM 베이스라인 대비 샘플 효율성을 향상시킨다. 우리는 또한 신념 상태가 보류된 후보 풀에서 예측력을 가지며, 제어된 의사결정 규칙 ablation 실험에서 어닐링된 불확실성 보너스를 사용한 신념 기반 선택이 유리함을 보인다. 그리고 BayesEvolve는 무분별한 탐험 대신 생산적인 후기 집중 현상을 나타낸다.

arXiv:2606.26164v1cs.LG

\chisao{}: 수렴-반수렴 진동을 통한 다중모드 블랙박스 함수용 GPU 네이티브 병렬 옵티마이저

\chisao{}: A GPU-Native Parallel Optimizer for Multimodal Black-Box Functions via Convergence-Anticonvergence Oscillation

다중모드 블랙박스 함수의 모든 모드 탐색을 위해 ChiSao는 GPU에서 샘플 배치를 병렬 실행하고, 수렴-반수렴 진동으로 지역 함정을 벗어나며 확인된 모드는 동결하는 집단 옵티마이저이다. Simon Fraser University 벤치마크 42개 함수에서 차원 8 이상에서 CPU 기준선이 실패하는 다중모드 문제에서도 100% 모드 복구를 달성하고 basin-hopping 대비 최대 34배 속도 향상을 보였다.

arXiv:2606.25269v1stat.ML

태스크 지향 무작위화를 통한 블랙박스 알고리즘 안정화

Stabilizing black-box algorithms through task-oriented randomization

블랙박스 알고리즘 출력의 안정성을 높이기 위해 입력 데이터 생성 메커니즘에 맞춰 노이즈 주입 전략을 조정하는 태스크 지향 무작위화 방법을 제안하며, 생성 과정이 미지인 복잡 데이터에는 확산 과정 기반 접근을 사용한다. 안정성 보장과 안정성-탐험 트레이드오프를 이론적으로 분석하고 대규모 언어 모델(LLM)의 top-k 랭킹 문제로 확장한 뒤, 수치 시뮬레이션과 실제 데이터셋 적용으로 효과를 검증한다.

arXiv:2606.25761v1cs.LG

Bridging Spherical Black-Box Optimizers

When gradient information is unavailable, black-box optimization (BBO) methods provide a practical alternative. While Evolution Strategies (ES), Consensus-Based Optimization (CBO), Optimization via Integration (OVI), and related methods have each been studied independently, their connections remain underexplored. We unify these approaches within a common theoretical framework, revealing that they differ primarily in two design choices: fitness aggregation (controlling sharpness preference) and consensus scope (controlling modality). Leveraging these insights, we introduce hybrid optimizers that interpolate between existing methods. Our ES-OVI hybrid allows explicit control over the preference for flat minima, enabling a trade-off between performance and robustness in continuous control tasks. Our CBO-OVI hybrids combine the higher-dimensional efficiency of parametric methods with the multimodal capabilities of particle-based approaches, achieving competitive results on language model merging under limited evaluation budgets. We validate our methods on standard BBO benchmarks and higher-dimensional locomotion tasks, demonstrating that the hybrid methods can outperform their constituent algorithms.

arXiv:2606.19369v1cs.LG

영팽창 가우시안 분포는 분포 추정 알고리즘에서 매개변수 공간 희소성을 가능하게 합니다

Zero-Inflated Gaussian Distributions Enable Parameter-Space Sparsity in Estimation-of-Distribution Algorithms

분포 추정 알고리즘(EDAs)은 블랙박스 최적화를 위한 강력한 진화적 방법의 부류로, 특히 목적 함수의 구조에 대해 알려진 바가 거의 없을 때 유용합니다. 고전적 진화 알고리즘은 미지의 문제 구조에 대해 고안하기 어렵고 바이어스(bias)의 원인이 되는 수동으로 설계된 돌연변이 및 교차 연산자에 의존하는 반면, EDAs는 연산자 설계를 완전히 우회합니다. 즉, 최적 개체들에게 확률 분포를 적합시키고 이로부터 다음 세대를 샘플링합니다. EDAs는 연속 매개변수 공간에서 잘 정립되어 있지만, 좋은 해의 대부분의 계수가 정확히 0인 희소 공간으로는 이전에 일반화된 적이 없습니다. 따라서 기존 희소 블랙박스 최적화 도구는 EDAs가 피하도록 설계된 바로 그 요소, 즉 수작업으로 제작된 희소성 연산자, 서포트 집합과 활성 값 사이를 번갈아 가며 전환하는 이중 수준(bi-level) 스킴, 제로화 임계값 및 기타 내재된 가정을 다시 도입합니다. 우리는 다변량 영팽창 가우시안(ZIG) 분포를 EDA 샘플링 법칙으로 제안하여 이 격차를 해소합니다. 지표와 값 차원이 분리된 잠재 가우시안 모델(model)은 희소성 패턴, 활성 매개변수 간의 상관관계, 그리고 이 둘 사이의 상호작용을 나타내므로, 희소성 패턴과 활성 값이 계층 구조 없이 공동으로 최적화됩니다. 우리는 이 모델의 잠재 매개변수(parameter)가 관련 구조가 기원한 결측 데이터 설정과 달리 관측된 샘플로부터 식별 가능함을 보이고, 이를 위한 실용적인 아모티즈드(amortized) 역전 기반 추정기를 소개합니다. 해당 추정기는 잠재 상관 구조를 정확하게 복원하며, Lunar Lander 벤치마크에서 결과적인 ZIG-EDA는 밀집 가우시안 EDA, 수작업 희소 진화 알고리즘, 임시적(ad-hoc) 희소 EDA보다 더 빠르게 수렴하고 더 높은 최종 수익에 도달하는 동시에, 소수의 매개변수만 활성화된 컨트롤러를 찾아냅니다.

arXiv:2606.17319v1stat.ML

저차수 및 희소 불리언 다항식에 대한 타이트한 $L_\infty$ 표본 복잡도

Tight $L_\infty$ Sample Complexity for Low-Degree and Sparse Boolean Polynomials

유계 이진 블랙박스 함수의 최적화에 동기를 부여받아, 우리는 불리언 하이퍼큐브 상에서 다항식 대리 모델을 학습하는 문제를 연구합니다. 대리 모델을 최적화하는 것이 근본적인 목적 함수에 대해 좋은 해를 산출하도록 보장하기 위해, 우리는 일반적인 $L_2$ 유형의 보장 대신 균일 $L_\infty$ 오차 보장을 요구합니다. 우리는 두 가지 유계 다항식 클래스에 대해 subgaussian 잡음 하에서 균일 추정의 미니맥스 표본 복잡도를 특성화합니다. 첫째, $n$개의 변수에 대한 차수가 최대 $d$인 다항식의 경우, 표본 복잡도는 $n^{d+1}$으로 스케일링됩니다. 둘째, $s \leq n$인 $s$-희소 Fourier-Walsh 다항식의 경우, 표본 복잡도는 $ns^2$으로 스케일링됩니다. 이러한 비율은 균일한 정확한 복구가 각각 $n^d$와 $ns$로 스케일링되는 무잡음 설정과 구조적으로 다릅니다. 우리의 하한은 임의의 적응형 학습자에 대해서도 성립하며, 이는 추가적인 요인들이 잡음이 있는 경우에 내재적임을 보여줍니다. $L_2$ 놈에 대한 표준적인 푸리에 분석 도구들은 균일한 보장을 제공하는 방식으로 $L_\infty$ 설정으로 자연스럽게 확장되지 않습니다. 우리의 증명은 $L_\infty$ 오차를 제어하는 대리 수단으로 작용하는 적절하게 선택된 보조 놈에 의존하여 이 어려움을 극복합니다. 종합하면, 우리의 결과는 최적화에 안전한 다항식 대리 모델을 학습하는 표본 복잡도에 대한 타이트한 특성화를 제공합니다.

arXiv:2606.12885v1cs.NE

정보기하학적 이중 레벨 분해를 통한 혼합 범주형 블랙박스 최적화

Mixed-Categorical Black-Box Optimization via Information-Geometric Bilevel Decomposition

범주형-연속형 혼합 최적화 문제에서 변수 간의 상호작용을 명시적으로 포착하는 정보기하학적 이중 레벨 최적화 프레임워크를 제안한다. 캐싱을 활용한 웜 스타팅 전략을 통해 계산 효율성을 높이면서 기존 최신 방법론보다 우수한 성능을 달성했다.