arXiv:2605.04722v2 cs.LG

입력 볼록 신경망을 위한 쌍대 보증 화이트박스 추론

Dual Certified White-Box Inference for Input Convex Neural Networks

Kang Liu, Jianchen Hu, Wei Peng

제출 2026-05-06

한국어 초록

입력 볼록 신경망(Input Convex Neural Networks, ICNN)은 최소화점(minimizer)이 의사결정을 정의하는 볼록 목적함수를 학습하는 데 사용되므로, 효율적이고 신뢰할 수 있는 최적화가 추론의 핵심이 됩니다. 비매끄러운(nonsmooth) 입력에서 자동 미분은 최적성과 하강을 지배하는 완전한 열미분(subdifferential) 대신 단일 도함수만을 반환합니다. 2차 원뿔 ICNN(SOC-ICNN)은 매개변수화된 2차 원뿔 프로그램의 가치 함수로서 정확한 표현을 제공하여, 최적 쌍대 승수로부터 완전한 열미분을 복원하고 매끄러운 영역에서 명시적인 헤시안(Hessian)을 유도하는 화이트박스 접근법을 제공합니다. 이러한 표현을 바탕으로, 본 연구에서는 네트워크와 실행 가능 영역(feasible set)의 기하학적 구조를 결합하여 정확한 정류성 보증(stationarity certificates) 및 접 공통 하강 방향을 얻는 쌍대 보증 추론(DCI)을 개발합니다. DCI는 뉴턴 가속을 위해 국소 곡률을 활용하며 정확한 근위 안전장치(proximal safeguard)를 사용합니다. 본 연구에서는 전역 수렴을 확립하고, 표준 정규성 조건하에서 구조적으로 비퇴화인 내부 최소화점 부근에서의 국소 2차 수렴을 입증합니다. 수치 실험을 통해 복원된 기하학적 구조를 검증하고 DCI의 신뢰성과 효율성을 입증합니다. 코드는 https://anonymous.4open.science/r/DCI-ICNN-507D/ 에서 확인할 수 있습니다.

원문 초록

Input convex neural networks (ICNNs) are used to learn convex objectives whose minimizers define decisions, making efficient and reliable optimization central to inference. At nonsmooth inputs, automatic differentiation returns a single derivative rather than the full subdifferential governing optimality and descent. Second-order cone ICNNs (SOC-ICNNs) admit an exact representation as value functions of parametric second-order cone programs, providing a white-box approach to recovering their full subdifferentials from optimal dual multipliers and deriving explicit Hessians on smooth regions. Building on this representation, we develop dual-certified inference (DCI), which combines the network and feasible set geometries to obtain exact stationarity certificates and tangent common descent directions. DCI uses local curvature for Newton acceleration and an exact proximal safeguard. We establish global convergence and, under standard regularity conditions, local quadratic convergence near structurally nondegenerate interior minimizers. Numerical experiments validate the recovered geometry and demonstrate the reliability and efficiency of DCI. Code is avaliable at https://anonymous.4open.science/r/DCI-ICNN-507D/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.04722v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15829v1cs.LG공통 태그 convex optimization

폴리토프 거리를 위한 보호된 블록 전이: 명시적 상수를 갖는 선형 수렴 및 SVM 학습을 위한 갭 인증 스크리닝

Guarded Block Transfers for Polytope Distance: Linear Convergence with Explicit Constants and Gap-Certified Screening for SVM Training

하드 마진(hard-margin) SVM 학습은 두 볼록 껍질(convex hull) 사이의 거리 문제이며, 삼각형 알고리즘(Triangle Algorithm, TA)은 이를 인증된 쌍대성 갭(duality gap)과 함께 해결합니다. 본 논문에서는 보호된 블록 전이(guarded block transfers)를 제안합니다. 이는 스캔당 $k$개의 Mitchell–Demyanov–Malozemov(MDM) 전이를 하나의 정확한 선 탐색(line search)으로 집약하며, 점의 수 $n$과 무관한 비용으로 단일 최적 전이와의 비교를 통해 보호되고, 선행 전이가 용량 제한(capacity-clipped)될 경우 어웨이 스텝(away step)으로 대체됩니다. 목적 함수가 $1$-강볼록($1$-strongly convex)인 민코프스키 차이(Minkowski-difference) 폴리토프에서, 우리는 조합적 스왑 스텝(swap-step) 한계 없이 명시적 상수를 갖는 전역 선형 수렴(global linear convergence)을 증명합니다. 단계당 수축(per-step contraction)은 $k$와 무관하며 드롭 횟수 한계(drop-count bound)만이 $k$에 따라 증가하므로, 스캔 절감은 증명된 것이 아니라 측정된 것인 반면 집약은 증명 가능하게 안전합니다. TA 인증서는 Frank–Wolfe 갭을 현재 거리로 나눈 값이므로 갭-안전 스크리닝(gap-safe screening)이 적용되며, 기하학적 요소의 로그 인수를 제외하고 최적 페이스(optimal face) 바깥의 모든 가중치 0인 점을 제거한 후의 반복 횟수를 $O\!\left(\tfrac{k}ρ\log\tfrac{1}τ\right)$로 제한합니다. 여기서 $ρ$는 수렴 속도 상수이고 $τ$는 최적 페이스 마진입니다. 5개의 LIBSVM 벤치마크에서, 본 논문의 제출본보다 더 공정한 베이스라인들을 적용했을 때 제안하는 솔버는 양쪽 모두 수렴하는 모든 경우에서 베이스라인과 4~5자리까지 일치하며, 희소 지지(sparse-support) 하드 마진에서는 LIBSVM과 대등하고 자체 블렌디드 쌍별 조건부 그래디언트(BPCG)보다 우수합니다. 그러나 자체 전체 캐시 순차적 최소 최적화(SMO) 코드는 커널 $L_2$ 마진에서 이와 대등하거나 능가하고, LIBLINEAR의 쌍대 솔버는 분리 가능한 $L_2$ 마진에서 최대 $4.5\times$ 더 빠르며, 제안하는 솔버는 밀집 지지(dense-support) $L_2$ 마진에서는 LIBLINEAR의 뉴턴(Newton) 솔버보다, 거의 맞닿는 커널 껍질에서는 LIBSVM보다 1~3자릿수 더 느립니다. 이 알고리즘의 강점은 속도가 아니라 인증서에 있습니다.

arXiv:2605.17692v2cs.LG공통 태그 convex optimization

완전 양의 리프팅을 통한 선형 신경망의 정확한 볼록 재구성

Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting

본 논문에서는 제곱 손실(squared loss) 하에서 심층 선형 신경망(deep linear neural network)의 학습 문제가 일반화된 완전 양(completely positive)의 원뿔 위로 리프팅된 공간에서 정확한 볼록 재구성(exact convex reformulation)을 허용함을 보인다. 이 재구성은 원래의 비볼록 문제와 동일한 최적값을 가지며 리프팅된 변수에 대해 선형이고, 모든 비볼록성은 원뿔 제약조건 내에 인코딩된다. 리프팅된 주변 공간의 차원은 네트워크의 깊이 및 데이터 포인트 수와는 무관하게 입력 및 출력 차원에만 의존하며, 병목 너비는 스칼라 제약조건을 통해서만 관여한다. 이러한 구성은 다층 매개변수화를 이중선형 인수분해로 축소하고, 이를 계수 제약이 있는 준정부호 계획법(rank-constrained semidefinite program)으로 리프팅한 뒤, 상보성 조건(complementarity condition)을 통해 계수 제약을 표현하고, 완전 양의 리프팅을 적용함으로써 진행된다. 결과로 도출된 정식화는 선형 인수분해로 인해 유도된 비볼록성에 대한 원뿔형 표현을 제공하며, 선형 신경망 학습을 쌍양(copositive) 프로그래밍과 연결한다.

arXiv:2604.13870v2math.OC공통 태그 convex optimization

경사하강법의 마지막 반복점은 종종 (약간) 차선책이다

Gradient Descent's Last Iterate is Often (slightly) Suboptimal

본 논문에서는 경사하강법(GD) 또는 그 확률적 변형인 확률적 경사하강법(SGD)을 사용하여 볼록 립시츠(convex Lipschitz) 함수를 최소화하는 널리 연구된 설정을 고려하고, 마지막 반복점 수렴(last iterate convergence)을 살펴봅니다. 현재까지 표준적인 보폭(stepsize) 선택을 사용할 경우 $T$단계 후 $\log T/\sqrt{T}$의 마지막 반복점 수렴 속도를 보이는 것으로 알려져 있습니다. Jain 등[2019]의 획기적인 연구에서는 비표준 보폭 시퀀스를 구성하여 최적의 $1/\sqrt{T}$ 속도를 회복했습니다. 그러나 이 시퀀스는 임의의 시간 지평(time horizon)에 적용 가능한 일반적인 보폭 스케줄과 달리 $T$를 사전에 선택해야 합니다. 또한 Jain 등은 $T$에 대한 사전 지식 없이는 어떤 보폭 시퀀스도 SGD의 마지막 반복점에 대해 최적의 오차를 보장할 수 없다고 추측했으나, 이는 지금까지 증명되지 않은 상태로 남아 있었습니다. 본 연구에서는 이 추측을 증명하며, 실제로 노이즈가 없는 GD의 경우에도 임의 시점(anytime) 마지막 반복점 보장을 고려할 때 $T$에 대한 추가적인 폴리로그(poly-log) 인수를 피하는 것이 불가능함을 보입니다.

arXiv:2604.13179v2math.OC공통 태그 convex optimization

HUANet: 제약 조건이 있는 볼록 최적화를 위한 하드 제약 조건 기반의 언롤링 ADMM

HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization

본 논문에서는 매개변수화된 제약 조건이 있는 볼록 최적화(constrained convex optimization)의 가속화를 위해 교대 방향 승수법(ADMM, Alternating Direction Method of Multipliers)을 학습 가능한 신경망으로 언롤링(unrolling)한 제약 조건 기반 심층 신경망 아키텍처인 HUANet을 제안합니다. 기존의 엔드투엔드(end-to-end) 학습 방법들은 매개변수에서 해로의 블랙박스 매핑으로 동작하여, 최적성 원리를 명시적으로 반영하지 못하거나 제약 조건 충족을 보장하지 못하는 경우가 많습니다. 이러한 한계를 해결하기 위해 HUANet은 언롤링된 각 ADMM 반복(iteration) 내에 하드 제약 조건 신경망을 내장하며, 여기서 미분 가능한 보정 단계를 통해 원시 부문제(primal subproblem)의 아핀 등식 제약 조건을 강제합니다. 나아가 제안된 언롤링 알고리즘의 수렴을 촉진하기 위해 1차 최적성 조건을 자기지도 학습(self-supervised training) 손실에 통합합니다. 벤치마크 최적화 문제 및 제어 응용 분야에 대한 광범위한 수치 실험을 통해 제약 조건이 있는 볼록 최적화 풀이를 가속화하는 데 있어 HUANet의 효과를 입증하고 검증합니다.

arXiv:2606.23198v2math.OC공통 태그 convex optimization

미러 흐름에서의 점진적 학습

Incremental Learning in Mirror Flows

볼록 이차 손실과 일반적인 볼록 하반연속 미러 포텐셜(mirror potential)로 생성되는 미러 흐름(mirror flow)을 연구한다. 미러 포텐셜의 정의역 경계 근처에서 초기화할 때, 재스케일된 궤적이 정의역의 지시함수를 포텐셜로 하는 극한 미러 흐름으로 수렴함을 보인다. 이 극한에서 원시 변수는 시간에 따라 변하는 가설 집합 위에서 손실을 최소화하며, 이 가설 집합은 쌍대 변수에서 평가된 정의역의 지지함수의 부미분(subdifferential)이다. 이러한 특성화는 미러 흐름에서 점진적 학습(incremental learning)을 위한 일반적인 메커니즘을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.