arXiv:2606.06984v1 cs.LG

예측 그래디언트 촉매를 통한 다목적 베이지안 최적화 가속화

Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts

Alma Rahat, Tinkle Chugh, Jonathan Fieldsend, Richard Allmendinger

제출 2026-06-05

한국어 초록

본 논문은 가우시안 프로세스 예측 그래디언트를 보조 신호로 활용하는 다목적 베이지안 최적화(MOBO)를 위한 일반적인 가속화 메커니즘을 제안합니다. 제안하는 접근법은 기존의 파레토 준수 획득 함수를 대체하는 대신, 대리 모델에서 유도된 그래디언트에서 파생된 국소 정상성 정보로 이를 보강하여, 제한된 평가 예산 하에서 전역 파레토 집합으로의 더 빠른 수렴을 가능하게 합니다. 두 가지 촉매 구현체를 조사합니다: 적응형 다중 그래디언트 하강법 기반 촉매(MGDA)와 예산이 빠듯할 때 집중적인 탐험을 가능하게 하는 미리 정의된 가중치 변형입니다. DTLZ 벤치마크 제품군(2개의 목적과 10개의 결정 변수 사용)에 대한 실험은 대리 모델이 정확할 때 예측 그래디언트 촉매 작용이 다른 획득 함수(EHVI, AugTch, tMPoI, SAF)와 비교하여 상당한 가속을 제공할 수 있음을 보여주며, 이는 특히 정상성 문제에서 두드러집니다.

원문 초록

This paper presents a general acceleration mechanism for multi-objective Bayesian optimisation (MOBO) that leverages Gaussian process predictive gradients as auxiliary signals. Rather than replacing existing Pareto-compliant acquisition functions, the proposed approach augments them with local stationarity information derived from surrogate-derived gradients, enabling faster convergence toward the global Pareto set under limited evaluation budgets. Two catalyst instantiations are investigated: an adaptive Multiple-Gradient Descent Algorithm-Based Catalyst (MGDA) and a predefined-weight variant that enables focused exploration when budgets are tight. Experiments on the DTLZ benchmark suite (using 2 objectives and 10 decision variables) show that predictive gradient catalysis can deliver significant acceleration compared to other acquisition functions (EHVI, AugTch, tMPoI, SAF) when surrogates are accurate, particularly for stationary problems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06984v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09706v1cs.AI공통 태그 Evolutionary Algorithms, Bayesian Optimization, pareto optimization

YUKTI: 자연어 상황에서 강건하고 검증 가능한 의사결정으로 — 불확실성 타입 명제 IR, 가정 강건 파레토 프론티어, 그리고 후회 증명서

YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate

언어 모델은 서술된 상황을 수치 계획으로 변환하며, 주요 파이프라인(NL4Opt, OptiMUS, ORLM, OR-LLM-Agent)은 단일 목적 함수와 점 값(point-valued) 계수를 확정한 뒤 한 번만 풀어낸다. 실제 예산, 노력, 또는 임상적 주의를 배분하는 의사결정에서 이러한 확신은 실패의 원인이 된다: 객관화된 모든 수치는 가정이며, 추정이 정확히 맞을 때만 최적인 계획은 취약하다 — 계산의 흉내에 불과하다. YUKTI는 자동 공식화(autoformulation)의 대상을 바꾼다. 그 표현은 관계에 형태 사전 확률(shape priors), 계수 불확실성, 출처 정보를 담은 타입 명제 그래프다. YUKTI는 각 단계를 정확(exact), 비선형, 또는 진화적 솔버로 라우팅하고, 분포적 파레토 인계(distributional Pareto hand-off)를 통해 단계를 결합하며, 가정 강건 파레토 프론티어(Assumption-Robust Pareto Frontiers, ARPF)를 도입한다. ARPF는 구조적 엡실론 오염을 포함한 가정을 재샘플링하여 각 행동이 살아남는 빈도(ρ)를 평가한다. 우리는 ρ를 의사결정 후회의 정확한 인수(factor)로 만드는 경계를 증명하고, 감사 가능한 추적성을 추가하며, 데이터 기반이 존재하지 않을 때 벤치마크 충실 데이터 기반(SRJANA)을 합성한다. 우리는 세 가지 방식으로 검증한다: 통제된 잘못된 명세(misspecification) 하에서 강건한 타협안은 단순 점 계획 대비 평균 및 꼬리 후회를 90% 이상 감소시킨다; 규제된 상업적 의사결정에서는 합법적 행동 공간 내에서 최적화하고 하방 손실을 유로로 가격화한다; 41,188건의 의사결정으로 이루어진 실제 공개 데이터셋에서 표본 외 백테스트는 기록된 현상 유지 대비 34%, 단순 점 규칙 대비 4% 우수한 성과를 보이면서 옵티마이저의 저주를 완화한다. 솔버는 표준 방식이며, 벤치마크 SOTA 달성을 주장하지 않는다. 직접 비교 실험에서, 올바른 수치와 단일 목적 최적화가 주어진 대규모 언어 모델(LLM)은 모두 YUKTI 대비 약 47배의 보류 후회(held-out regret)를 발생시킨다 — LLM은 공식화기이지 솔버가 아니다. 장거리 인과 결합 하에서 전방 인계(forward hand-off)는 불건전해지며, 이는 역귀납(backward-induction) 인과 정책이 필요한 지점을 특정한다.

arXiv:2607.08791v1cs.NE공통 태그 Evolutionary Algorithms, Bayesian Optimization, multi-objective optimization

다목적 베이지안 최적화 알고리즘의 LLM 기반 진화적 생성

LLM-Driven Evolutionary Generation of Multi-Objective Bayesian Optimization Algorithms

효과적인 다목적 베이지안 최적화(MOBO) 알고리즘을 설계하려면 문제에 따라 최적 구성이 달라지는 수많은 상호의존적 설계 선택들을 균형 있게 다루어야 하며, 일반적으로 깊은 전문 지식을 요구한다. 본 연구는 LLaMEA 프레임워크를 MOBO로 확장하여, 대규모 언어 모델(LLM)을 진화 전략 내의 변이 및 교차 연산자로 활용함으로써 완전한 알고리즘 구현을 생성하고, SMAC 하이퍼파라미터 최적화를 진화 루프에 통합한다. 총 9회의 진화 실행에 걸쳐 약 900개의 알고리즘을 생성하였으며, 12개의 합성 문제(ZDT, DTLZ, WFG)와 3개의 실세계 공학 문제(RE)에서 벤치마크를 수행하였고, BoFire의 qParEGO 구현을 최신 베이지안 최적화 기준선으로 사용하였다. 합성 문제 세트에서 가장 우수한 생성 알고리즘은 최고 평균 정규화 하이퍼볼륨(0.971, qParEGO의 0.869 대비)을 달성하면서 벽시계 시간을 약 60배 단축하였다. 사후 분석을 포함한 Friedman 검정 결과 두 알고리즘은 동일한 최상위 그룹에 속하였으며, 문제별 검정에서 생성 알고리즘은 12개 문제 중 7개에서 qParEGO보다 유의하게 우수하였고 열등한 경우는 없었다. 즉, 최신 수준의 정확도를 한 자릿수 낮은 비용으로 달성하였다. 학습에 사용되지 않은 3개의 실세계 공학 문제에서도 생성 알고리즘은 최고 평균 정규화 하이퍼볼륨(0.985, qParEGO의 0.971 대비)을 달성하였으며—세 문제 중 두 문제에서 qParEGO보다 유의하게 우수—벽시계 비용은 약 3.4배 낮아, 합성 환경을 넘어 성능 향상이 전이됨을 확인하였다. 따라서 LLM 기반 진화적 탐색은 수동 설계로는 달성하기 어려운 파레토 효율적 트레이드오프를 실현하는 알고리즘 설계를 발견할 수 있다.

arXiv:2606.28541v1math.OC공통 태그 Evolutionary Algorithms, pareto optimization, multi-objective optimization

다기준 공학 최적화를 위한 스칼라 목적 함수 비교

Comparing Scalar Objective Functions for Multi-Criteria Engineering Optimization

다기준 최적화 문제에서 파레토 집합만이 아닌 단일 선호 설계를 도출해야 할 때 스칼라 목적 함수가 필요하다. 스칼라화 방식의 선택은 어떤 타협안이 선택되는지, 선호 매개변수(parameter)가 어떻게 해석되는지, 그리고 비지지 파레토 영역에 도달 가능한지를 결정한다. 본 논문은 정규화된 이기준 최소화를 위한 네 가지 정식화를 비교한다: 가중 합산(weighted sums), 달성 스칼라화 함수(achievement scalarizing functions), 바람직성 함수(desirability functions), 퍼지 논리 기반 정식화. 볼록 및 오목 파레토 전선 각각 하나씩, 해석적으로 정의된 두 파레토 전선을 사용하여 목적 함수 정식화의 효과를 수치 옵티마이저(optimizer) 동작과 분리하여 분석한다. 비교는 도달 가능한 파레토 영역, 매개변수 유도 선택 밀도, 기준 간 보상, 민감도 및 해석 가능성에 초점을 맞춘다. 결과에 따르면 가중 합산은 단순하지만 오목 전선에서 구조적 한계가 있는 반면, 달성, 바람직성, 퍼지 정식화는 서로 다른 메커니즘을 통해 내부 비지지 영역에 도달한다. 바람직성 함수는 비선형 단일 기준 선호 매핑을 도입하는 반면, 퍼지 규칙은 비분리적이고 참조 의존적인 공학적 선호를 표현한다.

arXiv:2606.21092v1cs.LG공통 태그 Bayesian Optimization, Gaussian Processes, multi-objective optimization

BASIL: 과학적 반복과 학습을 위한 베이지안 애플리케이션

BASIL: Bayesian Application for Scientific Iteration and Learning

본 논문은 공정 최적화를 위한 사용자 친화적인 데스크톱 애플리케이션인 BASIL을 소개한다. BASIL은 베이지안 접근법을 채택하며, 단일 및 다목적 최적화 문제를 모두 해결하는 데 사용할 수 있는 특수 획득 함수(acquisition function)를 통합한다. 그래픽 인터페이스를 통해 사용자가 실험 매개변수, 최적화 목표, 기존 데이터를 입력할 수 있으며, 이를 바탕으로 대리 모델(surrogate model)을 구축한다. 구축된 대리 모델은 획득 함수와 결합되어 원하는 목표를 향해 공정을 안내하고 최적화한다. 모델 구축을 용이하게 하기 위해 BASIL은 다양한 미리 정의된 대리 모델 템플릿을 제공한다. BASIL은 알려진 사용자 정의 입력 변수, 최적화 목표, 정의된 출력을 갖춘 임의의 실험 또는 공정을 최적화하는 데 사용할 수 있다.

arXiv:2610.10858v1cs.AR공통 태그 Evolutionary Algorithms, Bayesian Optimization

RFChipAgent: 아날로그/RF 칩 설계를 위한 멀티 에이전트 AI 플로우

RFChipAgent: Multi-Agentic AI Flow for Analog/RF Chip Design

아날로그/RF 회로는 디지털 연산과 물리적 세계 사이의 핵심 인터페이스로 남아 있으며, Wi-Fi 7부터 6G에 이르는 새로운 표준들은 이에 대해 엄격한 요구사항을 부과하고 있습니다. 그러나 아날로그/RF 설계는 여전히 칩 개발에서 가장 많은 노동력이 소요되는 단계 중 하나입니다. 본 논문에서는 인간의 감독 하에 AI 에이전트들이 전체 설계 흐름을 협력하여 조율하는, 엔드투엔드 아날로그/RF 회로 설계 자동화를 위한 최초의 대규모 언어 모델(LLM) 에이전트 기반 멀티 에이전트 플로우인 RFChipAgent를 제시합니다. RFChipAgent는 네 가지 기술적 기둥을 중심으로 구축되었습니다. 첫째, 문서별 비공개 FAISS 인덱싱을 갖춘 멀티모달 검색-증강 생성(RAG) 하위 시스템이 기존 엔지니어링 문서에서 설계 지식을 추출합니다. 둘째, 토폴로지 에이전트가 토폴로지 선택을 주도하고, 회로도 및 테스트벤치 에이전트가 회로 및 테스트벤치 조립을 자동화합니다. 셋째, 폐루프 하이브리드 회로 사이징 엔진은 TPE(Tree-structured Parzen Estimator)와 CMA-ES 최적화를 결합하여 시뮬레이터 루프 내(simulator-in-the-loop) 프레임워크에서 모든 후보를 평가합니다. 넷째, 신뢰도 점수가 부여된 시뮬레이션 데이터베이스가 검증된 성능 데이터를 축적하고 후속 시도에 정보를 제공하는 적응형 최적화 모델을 구축합니다. GF22FDSOI 60 GHz 광대역 mm-wave 저잡음 증폭기(LNA) 토폴로지 제품군에서 RFChipAgent를 검증하여 자동화된 토폴로지 생성, 사양 기반 설계 공간 탐험, 시뮬레이터 유도 최적화를 입증합니다. 실험 결과는 사인오프 품질의 검증을 유지하면서도 설계 노력을 대폭 줄일 수 있음을 보여줍니다. 본 연구는 아날로그/RF 회로를 위한 LLM 기반 멀티 에이전트 전자 설계 자동화(EDA)의 토대를 마련합니다.

arXiv:2610.11082v1stat.ML공통 태그 Bayesian Optimization, Gaussian Processes

커널 밴딧(Kernel Bandits)에 대한 일반적인 $\widetildeΩ(\sqrt{Tγ_T})$ 하한

A General $\widetildeΩ(\sqrt{T γ_T})$ Lower Bound for Kernel Bandits

커널 밴딧(kernel bandit) 문제는 주어진 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS)에서 유계 노름(bounded norm)을 갖는 미지의 함수를 잡음이 있는 피드백(noisy feedback)을 통해 순차적으로 최적화하는 문제이다. 커널 밴딧의 후회(regret) 분석에서 중심이 되는 양은 최대 정보 획득량(maximum information gain) $γ_T$이다. 특히, 기존에 알려진 가장 좋은 상한(upper bound)은 로그 항(log factor)을 제외하면 $\sqrt{Tγ_T}$로 스케일링되며, 제곱 지수(squared exponential) 커널과 마테른(Matérn) 커널과 같은 특정 커널에 대해서는 이와 거의 일치하는 하한(lower bound)이 도출되어 왔다. 그러나 일반적인 커널에 대한 하한은 부족하여, 어느 정도의 일반성에서 상한이 근사 최적(near-optimal)인지가 불분명하다. 본 논문에서는 콤팩트 정의역(compact domain) 상의 비상수 연속 커널(non-constant continuous kernel)에 대해 일반적인 $Ω(\sqrt{Tγ_T/\log T})$ 미니맥스 후회 하한을 수립하여, 매우 일반적인 의미에서 (로그 항 범위 내에서의) 근사 최적성을 입증한다. 우리는 이 하한에 나타나는 로그 항이 일반적으로는 피할 수 없음을 보이지만, 특정 조건 하에서는 이를 제거할 수 있음을 보인다. 특히 우리의 결과는 $ν\in (0,2)$인 마테른-$ν$(Matérn-$ν$) 커널, $γ\in (0,2)$인 $γ$-지수(γ-exponential) 커널, 그리고 특정 조각별 다항식(piecewise-polynomial) 커널에 대해 미니맥스 최적 스케일링이 (상수 인자 범위 내에서) 정확히 $Θ(\sqrt{Tγ_T})$임을 함의한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.