HUANet: 제약 조건이 있는 볼록 최적화를 위한 하드 제약 조건 기반의 언롤링 ADMM
HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization
한국어 초록
본 논문에서는 매개변수화된 제약 조건이 있는 볼록 최적화(constrained convex optimization)의 가속화를 위해 교대 방향 승수법(ADMM, Alternating Direction Method of Multipliers)을 학습 가능한 신경망으로 언롤링(unrolling)한 제약 조건 기반 심층 신경망 아키텍처인 HUANet을 제안합니다. 기존의 엔드투엔드(end-to-end) 학습 방법들은 매개변수에서 해로의 블랙박스 매핑으로 동작하여, 최적성 원리를 명시적으로 반영하지 못하거나 제약 조건 충족을 보장하지 못하는 경우가 많습니다. 이러한 한계를 해결하기 위해 HUANet은 언롤링된 각 ADMM 반복(iteration) 내에 하드 제약 조건 신경망을 내장하며, 여기서 미분 가능한 보정 단계를 통해 원시 부문제(primal subproblem)의 아핀 등식 제약 조건을 강제합니다. 나아가 제안된 언롤링 알고리즘의 수렴을 촉진하기 위해 1차 최적성 조건을 자기지도 학습(self-supervised training) 손실에 통합합니다. 벤치마크 최적화 문제 및 제어 응용 분야에 대한 광범위한 수치 실험을 통해 제약 조건이 있는 볼록 최적화 풀이를 가속화하는 데 있어 HUANet의 효과를 입증하고 검증합니다.
원문 초록
This paper presents HUANet, a constrained deep neural network architecture that unrolls the Alternating Direction Method of Multipliers (ADMM) into a trainable neural network for accelerating parametric constrained convex optimization. Existing end-to-end learning methods operate as black-box mappings from parameters to solutions, often without explicitly incorporating optimality principles or guaranteeing constraint satisfaction. To address these limitations, HUANet embeds a hard-constrained neural network within each unrolled ADMM iteration, where a differentiable correction stage enforces the affine equalities of the primal subproblem. Furthermore, we incorporate first-order optimality conditions into a self-supervised training loss to promote the convergence of the proposed unrolled algorithm. Extensive numerical experiments for benchmark optimization problems and a control application demonstrate and validate the effectiveness of HUANet in accelerating constrained convex optimization solving.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시나리오 기반 모델 예측 제어의 학습 기반 가속
Learning-enabled Acceleration of Scenario-based Model Predictive Control
하이브리드 동력계 제어 적용을 위한 심층 부호 정 동역학의 모델링 및 제어
Modeling and Control of Deep Sign-Definite Dynamics with Application to Hybrid Powertrain Control
데이터 기반 제어는 일원론 모델을 얻기 어려운 복잡한 시스템에 대해 점점 더 심층 모델에 의존하고 있다. 그러나 안정적인 배포를 위해서는 학습된 동역학이 물리적 구조를 준수하고 처리 가능한 최적 제어로 이어져야 한다. 우리는 단조성, 양성, 부호 정부에 대한 통합적 기술로서, 야코비안 항목에 대한 부호 제한, 즉 부호 제약을 도입한다. 정확히 선형화 가능한 심층 동역학에 대해, 우리는 구조상 이러한 제약을 설계상 강제하는 구조적 조건과 신경망 매개변수화를 제공한다. 동일한 구조는 또한 모델 예측 제어를 볼록 이차 프로그램 또는 볼록 완화로 공식화할 수 있게 하며, 이는 유일한 옵티마이저와 리프시츠 연속 제어 법칙을 산출한다. 3탱크 시스템과 하이브리드 동력계에 대한 적용은, 제안된 접근법이 경쟁하는 비볼록 공식화와 비교하여 향상된 외삽 성능과 더 부드러운 제어 입력을 제공함을 보여준다.
Differentiable Nonlinear Model Predictive Control
혼합 그래프 알고리즘 언롤링 기반 교통량 예측용 경량·해석 가능 Transformer
Lightweight and Interpretable Transformer via Mixed Graph Algorithm Unrolling for Traffic Forecast
고전적 self-attention 메커니즘을 사용하는 기존의 "블랙박스" Transformer와 달리, 공간적·시간적 차원의 교통량 예측을 위해 혼합 그래프 기반 최적화 알고리즘을 언롤링(unrolling)하여 경량화되고 해석 가능한 Transformer류 신경망을 구축한다. 두 개의 그래프를 구성한다: 지리적 공간 전반의 공간 상관관계를 포착하는 무방향 그래프 $\mathcal{G}^u$와, 시간에 따른 순차적 관계를 포착하는 유방향 그래프 $\mathcal{G}^d$. 신호 $\mathbf{x}$의 미래 샘플을 예측하며, $\mathcal{G}^u$와 $\mathcal{G}^d$ 모두에 대해 신호가 "매끄럽다"고 가정한다. 유방향 그래프에서 신호의 매끄러움(저주파 재구성)을 정량화하고 촉진하기 위해 새로운 $\ell_2$ 및 $\ell_1$ 노름 변분 항을 설계한다. 교대 방향 승수법(ADMM) 기반 반복 알고리즘을 설계하고, 데이터 기반 파라미터 학습을 위해 이를 피드포워드(feed-forward) 네트워크로 언롤링한다. $\mathcal{G}^u$와 $\mathcal{G}^d$에 대한 그래프 학습 모듈을 주기적으로 삽입하며, 이들은 self-attention의 역할을 수행한다. 실험 결과, 제안 언롤링 네트워크는 최신 예측 기법과 대등한 교통량 예측 성능을 달성하면서 파라미터 수를 대폭 줄인다.
Evaluating the Impact of Model Accuracy for Optimizing Battery Energy Storage Systems
Re4MPC: Reactive Nonlinear MPC for Multi-model Motion Planning via Deep Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.