Scenario-based model predictive control (SBMPC) is a variant of model predictive control (MPC) that explicitly accounts for uncertainty by optimizing control actions over multiple predicted scenarios. However, its computational complexity increases rapidly with the number of scenarios and prediction horizon, limiting its applicability to real-time planning and control. This paper presents a learning-accelerated Alternating Direction Method of Multipliers (ADMM) algorithm for efficiently solving SBMPC problems by leveraging parallel computing and Moreau envelope learning, while maintaining high solution accuracy. We reformulate the SBMPC problems into consensus forms that can be decomposed via ADMM, separating the scenario-dependent dynamics from non-anticipativity constraints and enabling parallel updates across scenarios and time steps. Building on this decomposition, we utilize a learning-to-optimize scheme that leverages Moreau envelope learning of the cost function to accelerate the primal update in ADMM, thereby reducing computation time. The proposed framework is evaluated on a microgrid energy management problem subject to load and renewable generation uncertainties. Comparisons with IPOPT and MadNLP, two popular and modern nonlinear programming solvers, demonstrate substantial computational speedups while maintaining reliable closed-loop control performance.
우리는 비선형 행렬 분해(NMD)를 해결하기 위해 교차 방향 승수법(ADMM)에 기반한 알고리즘을 제시합니다. 입력 행렬 $X \in \mathbb{R}^{m \times n}$과 인수분해 랭크 $r \ll \min(m, n)$가 주어지면, NMD는 $X \approx f(WH)$를 만족하는 행렬 $W \in \mathbb{R}^{m \times r}$와 $H \in \mathbb{R}^{r \times n}$을 찾습니다. 여기서 $f$는 요소별(element-wise) 비선형 함수입니다. 우리는 음수가 아닌 희소 데이터 근사에 적합한 정류 선형 유닛(ReLU) 활성화 $f(x) = \max(0, x)$, 확률적 회로 표현에 적용 가능한 요소별 제곱 $f(x) = x^2$, 그리고 추천 시스템과 관련된 MinMax 변환 $f(x) = \min(b, \max(a, x))$를 포함하여 여러 대표적인 비선형 모델에서 우리의 방법을 평가합니다. 제안된 프레임워크는 최소제곱법(least squares), $\ell_1$ 노름, 쿨백-라이블러 발산(Kullback-Leibler divergence)을 포함한 다양한 손실(loss) 함수를 유연하게 지원하며, 다른 비선형성과 메트릭으로 쉽게 확장될 수 있습니다. 우리는 실제 데이터셋(dataset)에서 이 접근 방식의 적용 가능성, 효율성, 적응성을 입증하여 광범위한 응용 분야에 대한 잠재력을 강조합니다.
대규모 언어 모델(LLM)의 희소 플러스 저랭크($\mathbf{S} + \mathbf{LR}$) 분해는 사전 학습된 모델 가중치를 희소 행렬과 저랭크(low-rank) 행렬의 합($\mathbf{W} \approx \mathbf{S} + \mathbf{LR}$)으로 분해하는 것을 목표로 하며, 모델 압축에서 유망한 방향으로 떠올랐습니다. 최근의 진전에도 불구하고, 기존 방법들은 조밀(dense) 모델에 비해 상당한 성능 저하를 겪는 경우가 많습니다. 본 연구에서는 이러한 격차를 해결하는 LLM의 $(\mathbf{S} + \mathbf{LR})$ 분해를 위한 효율적인 원샷(one-shot) 사후 학습 방법인 3BASiL-TM을 소개합니다. 우리의 접근 방식은 먼저 수렴이 보장되는 상태에서 층별 재구성 오차를 최소화하기 위해 3BASiL이라 명명된 새로운 3-블록 교차 방향 승수법(ADMM)을 도입합니다. 그런 다음 트랜스포머 층 전반에 걸쳐 희소 성분과 저랭크 성분을 공동으로 최적화하는 효율적인 트랜스포머 매칭(TM) 정제 단계를 설계합니다. 이 단계는 트랜스포머 수준에서 출력을 정렬하는 메모리 효율적인 새로운 손실을 최소화합니다. 특히, TM 절차는 순수 희소성을 포함하여 모든 $(\mathbf{S} + \mathbf{LR})$ 분해를 향상시킬 수 있어 범용적입니다. 수치 실험에 따르면, 3BASiL-TM은 (2:4 희소 + 64 저랭크) 구성에서 기존 방법과 비교하여 조밀 LLaMA-8B 모델 대비 WikiText2 퍼플렉시티 격차를 30% 이상 줄입니다. 또한, 본 연구의 방법은 SOTA $(\mathbf{S} + \mathbf{LR})$ 방법과 비교하여 A100 GPU에서 2.5배 이상 빠른 압축 런타임을 달성합니다. 코드는 https://github.com/mazumder-lab/3BASiL 에서 확인할 수 있습니다.
본 논문에서는 매개변수화된 제약 조건이 있는 볼록 최적화(constrained convex optimization)의 가속화를 위해 교대 방향 승수법(ADMM, Alternating Direction Method of Multipliers)을 학습 가능한 신경망으로 언롤링(unrolling)한 제약 조건 기반 심층 신경망 아키텍처인 HUANet을 제안합니다. 기존의 엔드투엔드(end-to-end) 학습 방법들은 매개변수에서 해로의 블랙박스 매핑으로 동작하여, 최적성 원리를 명시적으로 반영하지 못하거나 제약 조건 충족을 보장하지 못하는 경우가 많습니다. 이러한 한계를 해결하기 위해 HUANet은 언롤링된 각 ADMM 반복(iteration) 내에 하드 제약 조건 신경망을 내장하며, 여기서 미분 가능한 보정 단계를 통해 원시 부문제(primal subproblem)의 아핀 등식 제약 조건을 강제합니다. 나아가 제안된 언롤링 알고리즘의 수렴을 촉진하기 위해 1차 최적성 조건을 자기지도 학습(self-supervised training) 손실에 통합합니다. 벤치마크 최적화 문제 및 제어 응용 분야에 대한 광범위한 수치 실험을 통해 제약 조건이 있는 볼록 최적화 풀이를 가속화하는 데 있어 HUANet의 효과를 입증하고 검증합니다.
가우시안 프로세스(GP)는 노이즈가 있는 측정으로부터 알려지지 않은 함수를 학습하면서 예측 불확실성을 정량화하는 유연한 프레임워크를 제공하므로, 다중 에이전트 시스템에서의 추정에 잘 맞다. 그러나 여러 에이전트가 측정을 수집할 때, 중앙집중식 처리 없이 통합 GP 모델을 유지하려면 로컬 측정과 이웃 에이전트와의 통신만으로 동작할 수 있는 효율적인 분산 알고리즘이 필요하다. 본 연구에서는 다중 출력 GP 회귀를 위한 두 가지 분산 재귀 GP(RGP) 알고리즘인 ADMM-RGP와 PDMM-RGP를 개발한다. 두 알고리즘의 안정성과 수렴을 분석하고, 수렴을 가속하여 통신 부담을 줄이기 위한 매개변수 선택 전략을 개발한다. 제안 방법은 실제 다중 출력 풍력 데이터셋에서 검증되었으며, 연결성이 다른 통신 그래프에서 수렴 거동을 조사하였다. 수치 실험은 ADMM-RGP와 PDMM-RGP가 최신 기법 대비 통신을 크게 줄이면서, 유사한 추정 정확도와 네트워크 전역 합의(consensus)를 유지함을 보여준다.
분산 경험적 위험 최소화(ERM)에서 CoCoA와 ADMM 계열 알고리즘을 통합된 원-쌍대(primal-dual) 관점으로 재형식화하여, 릿지 정규화 조건 하에서 CoCoA의 쌍대 갱신이 특정 근위 ADMM(proximal ADMM)과 동치임을 증명한다. 이 통합 프레임워크를 통해 합의 ADMM에 대한 자연스러운 수렴 정지 기준과 O(1/T) 에르고딕 수렴 분석을 제공하며, 적절히 튜닝된 ADMM 변형이 릿지 정규화 환경에서 CoCoA를 능가할 수 있음을 실험적으로 검증한다.
본 논문은 텐서 튜브 계수(tensor tubal rank)를 정확하게 근사하기 위해 텐서 핵 노름(tensor nuclear norm)과 텐서 Ky Fan p-k 노름(TNPK)의 비율인 새로운 비볼록 대체 함수(nonconvex surrogate)를 제안하여 저계수 텐서 완성(LRTC) 문제를 다룹니다. TNPK는 스케일 불변성(scale invariance), 매개변수 유연성, 그리고 p와 k의 특정 선택에 대해 해석해(closed-form solution)가 존재한다는 매력적인 특성을 가집니다. p와 k의 특정 매개변수 설정에서 이는 텐서 핵 노름과 텐서 Ky Fan k 노름(TNK)의 비율이나 텐서 핵 노름과 텐서 프로베니우스 노름(TNF)의 비율로 축소됩니다. 우리는 LRTC 모델을 구성하고, 텐서 영 공간 성질(null space property, NSP) 하에서 저계수 텐서가 제안된 모델의 국소 최소해(local minimizers)가 됨을 증명합니다. 또한, Ky Fan p-k 역노름(inverse-norm)의 근사 연산자(proximal operator)를 유도하고, 완화된 조건 하에서 부분 수렴(subsequential convergence)이 보장되는 효율적인 교대 방향 승수법(ADMM) 알고리즘을 추가로 개발합니다. 합성 데이터와 실제 데이터셋에 대한 광범위한 실험을 통해, 최신 경쟁 방법들(state-of-the-art competitors) 대비 우리 방법의 우수한 성능을 검증합니다.