PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13590v2math.OC

강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한

Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets

Recent results [arXiv:2602.04378, arXiv:2602.22608] establish lower bounds for optimization over strongly convex sets, covering specified Frank-Wolfe updates and unrestricted deterministic first-order linear minimization oracle (LMO) methods, respectively. Neither establishes a lower bound for unrestricted randomized methods. We close this gap by proving an $\Omega(L\operatorname{diam}(S)^2/T^2)$ distributional lower bound after $T$ oracle calls for randomized first-order LMO methods over strongly convex sets, with final outputs required to be feasible on every instance and seed. While our construction reuses the family of [arXiv:2602.22608], our proof characterizes the conditional distribution of the hidden permutation after adaptive queries and bounds the expected decrease of a combinatorial statistic controlling optimizer variance. We also show that the same error threshold holds with probability at least $3/4$ and yields a stopping-time tail bound. Our construction uses the same curvature-diameter coupling as [arXiv:2602.22608]. Comparisons with the upper bound [arXiv:1406.1305] must account for this coupling. Separately, we show that prescribed slow exact-line-search Frank-Wolfe trajectories can locally amplify sufficiently small initialization errors, corresponding to roughly one extra bit of initialization accuracy per iteration, and that initializations satisfying a particular eventual slow envelope have planar measure zero.

arXiv:2610.15829v1cs.LG

폴리토프 거리를 위한 보호된 블록 전이: 명시적 상수를 갖는 선형 수렴 및 SVM 학습을 위한 갭 인증 스크리닝

Guarded Block Transfers for Polytope Distance: Linear Convergence with Explicit Constants and Gap-Certified Screening for SVM Training

하드 마진(hard-margin) SVM 학습은 두 볼록 껍질(convex hull) 사이의 거리 문제이며, 삼각형 알고리즘(Triangle Algorithm, TA)은 이를 인증된 쌍대성 갭(duality gap)과 함께 해결합니다. 본 논문에서는 보호된 블록 전이(guarded block transfers)를 제안합니다. 이는 스캔당 $k$개의 Mitchell–Demyanov–Malozemov(MDM) 전이를 하나의 정확한 선 탐색(line search)으로 집약하며, 점의 수 $n$과 무관한 비용으로 단일 최적 전이와의 비교를 통해 보호되고, 선행 전이가 용량 제한(capacity-clipped)될 경우 어웨이 스텝(away step)으로 대체됩니다. 목적 함수가 $1$-강볼록($1$-strongly convex)인 민코프스키 차이(Minkowski-difference) 폴리토프에서, 우리는 조합적 스왑 스텝(swap-step) 한계 없이 명시적 상수를 갖는 전역 선형 수렴(global linear convergence)을 증명합니다. 단계당 수축(per-step contraction)은 $k$와 무관하며 드롭 횟수 한계(drop-count bound)만이 $k$에 따라 증가하므로, 스캔 절감은 증명된 것이 아니라 측정된 것인 반면 집약은 증명 가능하게 안전합니다. TA 인증서는 Frank–Wolfe 갭을 현재 거리로 나눈 값이므로 갭-안전 스크리닝(gap-safe screening)이 적용되며, 기하학적 요소의 로그 인수를 제외하고 최적 페이스(optimal face) 바깥의 모든 가중치 0인 점을 제거한 후의 반복 횟수를 $O\!\left(\tfrac{k}ρ\log\tfrac{1}τ\right)$로 제한합니다. 여기서 $ρ$는 수렴 속도 상수이고 $τ$는 최적 페이스 마진입니다. 5개의 LIBSVM 벤치마크에서, 본 논문의 제출본보다 더 공정한 베이스라인들을 적용했을 때 제안하는 솔버는 양쪽 모두 수렴하는 모든 경우에서 베이스라인과 4~5자리까지 일치하며, 희소 지지(sparse-support) 하드 마진에서는 LIBSVM과 대등하고 자체 블렌디드 쌍별 조건부 그래디언트(BPCG)보다 우수합니다. 그러나 자체 전체 캐시 순차적 최소 최적화(SMO) 코드는 커널 $L_2$ 마진에서 이와 대등하거나 능가하고, LIBLINEAR의 쌍대 솔버는 분리 가능한 $L_2$ 마진에서 최대 $4.5\times$ 더 빠르며, 제안하는 솔버는 밀집 지지(dense-support) $L_2$ 마진에서는 LIBLINEAR의 뉴턴(Newton) 솔버보다, 거의 맞닿는 커널 껍질에서는 LIBSVM보다 1~3자릿수 더 느립니다. 이 알고리즘의 강점은 속도가 아니라 인증서에 있습니다.

arXiv:2605.17692v2cs.LG

완전 양의 리프팅을 통한 선형 신경망의 정확한 볼록 재구성

Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting

본 논문에서는 제곱 손실(squared loss) 하에서 심층 선형 신경망(deep linear neural network)의 학습 문제가 일반화된 완전 양(completely positive)의 원뿔 위로 리프팅된 공간에서 정확한 볼록 재구성(exact convex reformulation)을 허용함을 보인다. 이 재구성은 원래의 비볼록 문제와 동일한 최적값을 가지며 리프팅된 변수에 대해 선형이고, 모든 비볼록성은 원뿔 제약조건 내에 인코딩된다. 리프팅된 주변 공간의 차원은 네트워크의 깊이 및 데이터 포인트 수와는 무관하게 입력 및 출력 차원에만 의존하며, 병목 너비는 스칼라 제약조건을 통해서만 관여한다. 이러한 구성은 다층 매개변수화를 이중선형 인수분해로 축소하고, 이를 계수 제약이 있는 준정부호 계획법(rank-constrained semidefinite program)으로 리프팅한 뒤, 상보성 조건(complementarity condition)을 통해 계수 제약을 표현하고, 완전 양의 리프팅을 적용함으로써 진행된다. 결과로 도출된 정식화는 선형 인수분해로 인해 유도된 비볼록성에 대한 원뿔형 표현을 제공하며, 선형 신경망 학습을 쌍양(copositive) 프로그래밍과 연결한다.

arXiv:2605.04722v2cs.LG

입력 볼록 신경망을 위한 쌍대 보증 화이트박스 추론

Dual Certified White-Box Inference for Input Convex Neural Networks

입력 볼록 신경망(Input Convex Neural Networks, ICNN)은 최소화점(minimizer)이 의사결정을 정의하는 볼록 목적함수를 학습하는 데 사용되므로, 효율적이고 신뢰할 수 있는 최적화가 추론의 핵심이 됩니다. 비매끄러운(nonsmooth) 입력에서 자동 미분은 최적성과 하강을 지배하는 완전한 열미분(subdifferential) 대신 단일 도함수만을 반환합니다. 2차 원뿔 ICNN(SOC-ICNN)은 매개변수화된 2차 원뿔 프로그램의 가치 함수로서 정확한 표현을 제공하여, 최적 쌍대 승수로부터 완전한 열미분을 복원하고 매끄러운 영역에서 명시적인 헤시안(Hessian)을 유도하는 화이트박스 접근법을 제공합니다. 이러한 표현을 바탕으로, 본 연구에서는 네트워크와 실행 가능 영역(feasible set)의 기하학적 구조를 결합하여 정확한 정류성 보증(stationarity certificates) 및 접 공통 하강 방향을 얻는 쌍대 보증 추론(DCI)을 개발합니다. DCI는 뉴턴 가속을 위해 국소 곡률을 활용하며 정확한 근위 안전장치(proximal safeguard)를 사용합니다. 본 연구에서는 전역 수렴을 확립하고, 표준 정규성 조건하에서 구조적으로 비퇴화인 내부 최소화점 부근에서의 국소 2차 수렴을 입증합니다. 수치 실험을 통해 복원된 기하학적 구조를 검증하고 DCI의 신뢰성과 효율성을 입증합니다. 코드는 https://anonymous.4open.science/r/DCI-ICNN-507D/ 에서 확인할 수 있습니다.

arXiv:2604.13870v2math.OC

경사하강법의 마지막 반복점은 종종 (약간) 차선책이다

Gradient Descent's Last Iterate is Often (slightly) Suboptimal

본 논문에서는 경사하강법(GD) 또는 그 확률적 변형인 확률적 경사하강법(SGD)을 사용하여 볼록 립시츠(convex Lipschitz) 함수를 최소화하는 널리 연구된 설정을 고려하고, 마지막 반복점 수렴(last iterate convergence)을 살펴봅니다. 현재까지 표준적인 보폭(stepsize) 선택을 사용할 경우 $T$단계 후 $\log T/\sqrt{T}$의 마지막 반복점 수렴 속도를 보이는 것으로 알려져 있습니다. Jain 등[2019]의 획기적인 연구에서는 비표준 보폭 시퀀스를 구성하여 최적의 $1/\sqrt{T}$ 속도를 회복했습니다. 그러나 이 시퀀스는 임의의 시간 지평(time horizon)에 적용 가능한 일반적인 보폭 스케줄과 달리 $T$를 사전에 선택해야 합니다. 또한 Jain 등은 $T$에 대한 사전 지식 없이는 어떤 보폭 시퀀스도 SGD의 마지막 반복점에 대해 최적의 오차를 보장할 수 없다고 추측했으나, 이는 지금까지 증명되지 않은 상태로 남아 있었습니다. 본 연구에서는 이 추측을 증명하며, 실제로 노이즈가 없는 GD의 경우에도 임의 시점(anytime) 마지막 반복점 보장을 고려할 때 $T$에 대한 추가적인 폴리로그(poly-log) 인수를 피하는 것이 불가능함을 보입니다.

arXiv:2604.13179v2math.OC

HUANet: 제약 조건이 있는 볼록 최적화를 위한 하드 제약 조건 기반의 언롤링 ADMM

HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization

본 논문에서는 매개변수화된 제약 조건이 있는 볼록 최적화(constrained convex optimization)의 가속화를 위해 교대 방향 승수법(ADMM, Alternating Direction Method of Multipliers)을 학습 가능한 신경망으로 언롤링(unrolling)한 제약 조건 기반 심층 신경망 아키텍처인 HUANet을 제안합니다. 기존의 엔드투엔드(end-to-end) 학습 방법들은 매개변수에서 해로의 블랙박스 매핑으로 동작하여, 최적성 원리를 명시적으로 반영하지 못하거나 제약 조건 충족을 보장하지 못하는 경우가 많습니다. 이러한 한계를 해결하기 위해 HUANet은 언롤링된 각 ADMM 반복(iteration) 내에 하드 제약 조건 신경망을 내장하며, 여기서 미분 가능한 보정 단계를 통해 원시 부문제(primal subproblem)의 아핀 등식 제약 조건을 강제합니다. 나아가 제안된 언롤링 알고리즘의 수렴을 촉진하기 위해 1차 최적성 조건을 자기지도 학습(self-supervised training) 손실에 통합합니다. 벤치마크 최적화 문제 및 제어 응용 분야에 대한 광범위한 수치 실험을 통해 제약 조건이 있는 볼록 최적화 풀이를 가속화하는 데 있어 HUANet의 효과를 입증하고 검증합니다.

arXiv:2606.23198v2math.OC

미러 흐름에서의 점진적 학습

Incremental Learning in Mirror Flows

convex quadratic loss와 볼록 미러 포텐셜(mirror potential)로 정의된 mirror flow는, 미러 포텐셜 정의역 경계 근처에서 초기화될 때 재스케일된 궤적이 정의역의 지시함수를 포텐셜로 하는 극한 동역학으로 수렴하며, 원시 변수가 시간에 따라 변하는 가설 집합 위에서 손실을 순차적으로 최소화한다. 비음수 직교 좌표, 양의 준정부호 쐘(positive semidefinite cone), 확률 심플렉스(probability simplex) 적용은 대각선형 신경망과 행렬 분해의 점진적 학습(incremental learning)을 이 틀의 특수 경우로 통합해 설명한다.

arXiv:2607.22436v1stat.ML

그래프 기반 상관 행렬 생성: 볼록 최적화 접근법

Graph-Based Correlation Matrix Generation: A Convex Optimization Approach

본 연구는 그래프 구조와 연관된 주어진 희소성 패턴을 갖는 이론적 상관 행렬의 생성 문제를 다룬다. 양의 준정부호(positive semidefiniteness) 제약 하에서 초기 행렬을 타원체(elliptope) 위로 투영하는 새로운 볼록 최적화(optimization) 프레임워크를 제안한다. 여러 수치적 기법을 구현하고 비교한다. 이 문제는 더 넓은 행렬 완성(matrix completion) 범주에 속하며, 부재한 간선에 해당하는 비대각(off-diagonal) 원소는 0으로, 대각 원소는 1로 고정된다. 이 구조적 제약을 넘어, 본 접근법은 비대각 원소 분포의 평균을 제어할 수 있어 기존 방법보다 더 큰 유연성을 제공하며, 현실적인 데이터를 더 잘 반영하는 상관 행렬 생성을 가능하게 한다. 이 절차는 실행 가능 집합(feasible set) 위의 균일 분포를 산출하도록 설계된 것이 아니라, 그래프 모델 추론(inference)을 위한 통계적 방법의 벤치마킹(benchmark)에 적합한 상관 행렬을 구성하는 원칙적이고 조정 가능한 방법을 제공한다. 일반 설정과 추가적인 평균 제약 하에서 모두, 해의 존재에 대한 이론적 보장을 확립한다. 시뮬레이션 연구를 통해 생성된 행렬의 그래프 구조와 관련된 특성을 보여준다. 본 방법론을 신경과학과 금융 분야의 두 실제 데이터셋에 적용하고, 생성적 적대 신경망(GAN) 기반 상관 행렬 생성과의 비교를 제공한다.

arXiv:2509.12889v5math.ST

연속 희소 정규화를 통한 미지 대각 공분산 가우시안 혼합 모델

Gaussian Mixture Model with unknown diagonal covariances via continuous sparse regularization

본 논문은 독립동일분포(i.i.d.) 표본으로부터 미지 대각 공분산을 갖는 가우시안 혼합 모델(GMM)의 통계적 추정 문제를 다룬다. 우리는 측도 공간에서 희소성을 촉진하는 볼록 최적화 프레임워크인 Beurling-LASSO(BLASSO)를 사용하여 성분 개수와 그 매개변수를 동시에 추정한다. 본 연구의 주요 기여는 BLASSO 방법론을 성분별 미지 대각 공분산 행렬을 갖는 다변량 GMM으로 확장하는 것이다. 이 설정은 공분산이 알려져 있고 동일하다고 가정했던 기존 접근법보다 훨씬 더 유연하다. 우리는 성분 평균, 대각 공분산, 가중치 및 밀도 예측에 대해 거의 모수적 수렴 속도를 갖는 비점근적 회복 보장을 확립한다. 핵심 이론적 기여는 BLASSO에 대한 통계적 보장을 확립하는 데 필수적인 도구인 비퇴화(non-degenerate) dual certificate를 구성할 수 있게 하는 혼합 성분에 대한 명시적 분리(separation) 조건의 식별이다. 우리의 분석은 통계 모델의 Fisher-Rao 기하를 활용하고 본 프레임워크에 맞춘 새로운 반거리(semi-distance)를 도입하여, 성분 분리, 매개변수 공간 기하, 달성 가능한 통계적 회복 사이의 상호작용에 대한 새로운 통찰을 제공한다.

arXiv:2607.20769v1cs.LG

준상각 매개변수 최적화에서의 메모리-계산 트레이드오프

Memory-Computation Tradeoffs in Semi Amortized Parametric Optimization

학습 기반 의사결정 시스템은 종종 온라인 연산 비용을 줄이기 위해 오프라인 데이터나 연산을 사용한다. 그러한 접근법의 경험적 성공에도 불구하고, 고정된 온라인 연산 예산 하에서 원하는 정확도를 달성하기 위해 얼마나 많은 오프라인 정보가 필요한지에 대한 일반적인 이해는 제한적이다. 우리는 상각 매개변수 최적화(amortized parametric optimization)의 관점을 통해 이 질문을 연구한다. 오프라인 단계는 풀린 문제 인스턴스들의 유한한 메모리를 저장하고, 온라인 단계는 웜 스타트(warm start)를 검색한 뒤 $K$단계의 투영 경사하강법(projected gradient descent)을 적용하여 새 인스턴스에 대한 해를 생성한다. 우리는 저장된 오프라인 해로부터 구축한 비모수 예측기(nonparametric predictor)를 사용하여, 컴팩트 영역(compact domain) 위의 매끄러운 볼록 매개변수 최적화에 대해 이 설정을 분석한다. $μ$-강볼록(strongly convex) 목적함수에 대해, 고정된 온라인 반복 예산 $K$ 하에서 $\varepsilon$-정확도를 보장하는 데 필요한 메모리에 대한 상·하한을 일치시킨다. $β$-성장 조건($β>2$)을 만족하는 볼록 목적함수에 대해서는 거의 일치하는 경계를 얻고, 그 이후 추가 메모리가 이득을 제공하지 않는 $K$에서의 상전이(phase transition)를 확인한다. 또한 (i) 가속의 메모리 비용—보조 없는 온라인 옵티마이저 대비 규정된 속도 향상을 달성하는 데 필요한 오프라인 메모리의 양—을 명시적으로 정량화하고, (ii) 이 비용을 좌우하는 두 가지 핵심량, 즉 온라인 옵티마이저의 수렴률과 문제 매개변수에 대한 해 사상(solution map)의 Lipschitz 민감도를 밝히는 일반적인 증명 프레임워크를 제공한다. 매개변수화된 릿지 회귀(parameterized ridge regression) 실험이 예측된 메모리-계산-정확도 트레이드오프를 확인한다.

arXiv:2409.19279v2math.OC

팽창 좌표에서 에너지 보존 법칙을 통한 분산 최적화

Distributed Optimization via Energy Conservation Laws in Dilated Coordinates

연속 시간 모델은 분산 최적화에서 가속 구조를 드러낼 수 있지만, 그 수렴률이 직접적인 이산화를 거쳐도 유지되지는 않을 수 있다. 우리는 매끄러운 볼록 분산 최적화를 위한 2차 원-쌍대(primal-dual) 흐름을 도입하고, 집계 목적 함수 갭과 제곱 합의 오차 모두에 대해 $\mathcal O(t^{-2})$ 수렴률을 제공하는 정확히 보존되는 에너지를 구성한다. 그런 다음 우리는 광범위한 단일 루프 유한 메모리 원-쌍대 이산화 클래스에 대해 수평선(horizon) 기준 $Ω(k^{-1})$ 하한을 증명하여, 이 클래스 내에서 집계 목적 함수에 대한 $\mathcal O(k^{-2})$ 보장이 불가능함을 보인다. 이 장벽에 동기부여되어, 우리는 유한 단계 다항식 합의와 가속 외부 업데이트를 결합한 이중 루프(double-loop) 방법을 개발한다. 이 방법은 외부 반복당 하나의 그래디언트 평가와 최대 $m-1$회의 통신 라운드(여기서 $m$은 에이전트(agent) 수)를 사용하며, 정확한 합의를 유지하고 $\mathcal O(k^{-2})$ 집계 목적 함수 수렴률을 달성한다. 대표적인 분산 방법들과의 수치 비교는 이론을 뒷받침하고 가속의 통신 비용을 정량화한다.

arXiv:2607.14731v1cs.LG

평활성 상수에는 무엇이 담겨 있는가? 유계 2차 이종성 하 Local SGD의 더 정밀한 수렴률

What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity

Local SGD(연합 평균화(Federated Averaging)로도 알려짐)는 널리 사용되는 분산 최적화(optimization) 알고리즘이다. Local SGD는 실무에서 미니배치 SGD와 같은 대안들보다 종종 더 나은 성능을 보이지만, 이론은 현실적인 데이터 이종성 하에서 로컬 업데이트가 언제·왜 도움이 되는지를 여전히 부분적으로만 설명한다. [Patel et al., 2025]의 최근 연구는 유계 2차 이종성 가정이 강볼록 목적함수에 대한 Local SGD의 효율을 포착한다는 것을 보여 주며, 동일한 원리가 일반 볼록 설정으로 확장된다고 추측한다. 본 논문에서는 유계 2차 이종성 하 일반 볼록 목적함수에 대한 Local SGD의 개선된 수렴 보장을 확립함으로써 이 추측을 증명한다. 또한 이 설정에서 Local SGD에 대한 알려진 최선의 하한을 개선하여, 우리의 상한이 거의 tight함을 보인다. 이러한 결과를 종합하면 Local SGD에 대한 더 날카롭고 세밀한 수렴 이론이 제공된다. 기법의 추가 적용으로, 치환을 사용한 순차 SGD에 대한 하한을 제시하여 2차 이종성이 드문 고곡률(high-curvature) 클라이언트의 영향을 어떻게 포착하는지 보여 준다.

arXiv:2509.19869v2eess.SY

하이브리드 동력계 제어 적용을 위한 심층 부호 정 동역학의 모델링 및 제어

Modeling and Control of Deep Sign-Definite Dynamics with Application to Hybrid Powertrain Control

데이터 기반 제어는 일원론 모델을 얻기 어려운 복잡한 시스템에 대해 점점 더 심층 모델에 의존하고 있다. 그러나 안정적인 배포를 위해서는 학습된 동역학이 물리적 구조를 준수하고 처리 가능한 최적 제어로 이어져야 한다. 우리는 단조성, 양성, 부호 정부에 대한 통합적 기술로서, 야코비안 항목에 대한 부호 제한, 즉 부호 제약을 도입한다. 정확히 선형화 가능한 심층 동역학에 대해, 우리는 구조상 이러한 제약을 설계상 강제하는 구조적 조건과 신경망 매개변수화를 제공한다. 동일한 구조는 또한 모델 예측 제어를 볼록 이차 프로그램 또는 볼록 완화로 공식화할 수 있게 하며, 이는 유일한 옵티마이저와 리프시츠 연속 제어 법칙을 산출한다. 3탱크 시스템과 하이브리드 동력계에 대한 적용은, 제안된 접근법이 경쟁하는 비볼록 공식화와 비교하여 향상된 외삽 성능과 더 부드러운 제어 입력을 제공함을 보여준다.

arXiv:2607.07538v2cs.LG

Langevin Dynamics로 학습할 때 unsafe 집합 회피

Avoiding unsafe sets when training with Langevin Dynamics

노이즈가 포함된 경사하강법으로 모델을 학습하는 과정은 과감쇠(overdamped) Langevin dynamics로 이상화할 수 있으며, 자연스러운 안전성(safety) 질문은 궤적이 지정된 실패 영역 $\mathcal{A}_H$에 놓일 확률 $ν_t(\mathcal{A}_H) = \mathbb{P}(Q_t \in \mathcal{A}_H)$를 경계(bound)하는 것이다. 우리는 $d$차원에서 매끄럽고 강볼록(strongly convex)한 손실에 대해 이를 연구하며, $\mathcal{A}_H$는 최소화점(minimizer)과 에너지 갭(energy gap)으로 분리되어 있다. 학습 종료 시 평형 질량(equilibrium mass) $π(\mathcal{A}_H)$는 $d$에 대해 지수적으로 작으며, 노이즈가 작을 때는 상보적인 에너지 장벽(energy-barrier) 속도를 따른다. 궤적을 따라 형태에 무관한(shape-free) 경계 $ν_t(\mathcal{A}_H) \le π(\mathcal{A}_H)(1 + \sqrt{χ_0^2/π(\mathcal{A}_H)}\,e^{-mt})$는 집합 내(in-set) 확률이 전역 스펙트럴 갭(global spectral gap) $m$만을 사용하여 차수 $d$의 burn-in 이후 (두 배의) 정적 값으로 완화(relax)됨을 보여준다. 구체적인 Ornstein-Uhlenbeck 예시는 이 burn-in이 필요함을 보여준다. 평형 shell의 각도 슬라이스(angular slice)는 평형 질량이 매우 작음에도 불구하고 $d$에 대해 지수적인 배수만큼 일시적으로 팽창(swell)할 수 있다. 이를 배제하기 위해 Dirichlet-form Rayleigh 몫(quotient)이 아니라 영역의 중심화된(centered) indicator의 스펙트럴 측도(spectral measure)를 통해 정의된 국소 완화율(local relaxation rate)을 도입한다. 기하학적으로 고립된(geometrically isolated) 영역에 대해 이율은 전역 값을 초과하여 burn-in을 줄이며, maximum principle 상한(ceiling)과 함께 시간에 대해 균일하게(uniformly) 궤적 확률의 상한을 설정한다. 강볼록성(strong convexity)은 학습이 얼마나 빠르게 완화되는지를 정하지만, unsafe 집합의 형태는 평형으로 향하는 과정에서 궤적이 그 집합을 통해 부풀어 오르(bulge)는지 여부를 결정한다.

arXiv:2607.10959v1cs.LG

WSqD: A Horizon-Free Learning Rate Schedule for Large Model Training

Standard learning rate schedules such as cosine annealing are tied to a fixed training horizon, limiting their ability to accommodate post hoc horizon extension. Warmup-stable-decay (WSD) partially addresses this issue by maintaining a long constant-rate phase before a short linear cooldown, allowing training to resume from a pre-decay checkpoint. However, its peak learning rate is still tuned based on the original training horizon and can become suboptimal when training is extended. Motivated by stochastic convex optimization, we propose WSqD (Warmup with Square-root base and linear Decay), a learning rate schedule that replaces WSD's constant stable phase with a shifted inverse-square-root base while retaining the final linear cooldown. In the stochastic convex setting, WSqD provably attains the minimax-optimal $O(1/\sqrt{T})$ last-iterate convergence rate. Importantly, its base learning rate schedule is horizon-independent, and the training horizon is needed only to determine when to begin the final cooldown. Empirically, on language-model pretraining using the SlimPajama corpus, WSqD matches or outperforms carefully tuned WSD and other baselines across multiple training horizons while reusing a single peak learning rate.

arXiv:2511.13999v2cs.LG

프라이빗 오라클을 이용한 프라이빗 최적화의 그래디언트 복잡도에 관하여

On the Gradient Complexity of Private Optimization with Private Oracles

차분 프라이버시(DP) 조건 하에서 립시츠 볼록 손실의 경험적/모집단 위험 최소화에 필요한 1차 오라클 쿼리 수의 하한을 이론적으로 분석하며, 비매끄러운 손실과 프라이빗 프록시 오라클 설정에서 $\Omega(\min\{\frac{\sqrt{d}}{\alpha^2}, \frac{d}{\log(1/\alpha)}\})$의 실행 시간이 필수임을 증명한다. 매끄러운 손실 설정으로의 확장과 그래디언트 양자화(quantization)에 대한 정보 제한 오라클 분석을 통해, DP 최적화가 비프라이빗 방법 대비 차원에 비례하는 실행 시간 패널티를 지불함을 처음으로 공식적으로 입증한다.

arXiv:2511.07109v2math.NA

평활 분리 NMF를 위한 증명 가능하고 견고한 볼록 모델

A Provably-Correct and Robust Convex Model for Smooth Separable NMF

비음수 행렬 분해(NMF)에서 기저 벡터 근방에 여러 데이터 포인트가 존재한다는 평활 분리성(smooth separability) 가정을 기반으로, 노이즈 존재 하에서도 정확한 인수 복원을 이론적으로 보장하는 최초의 볼록(convex) 모델 CSSNMF를 제안한다. 빠른 1차 최적화 알고리즘을 적용하여 합성 데이터셋과 하이퍼스펙트럼 언믹싱 실험에서 기존 최신 방법 대비 우수한 성능을 입증하였다.

arXiv:2606.32005v1math.OC

랜덤 리셔플링은 확률적 경사하강법을 지배한다

Random Reshuffling Dominates Stochastic Gradient Descent

랜덤 리셔플링(RR)이 표준 SGD보다 실제로 우수함에도 이론적 뒷받침이 부족했던 문제를 해결하기 위해, 이 연구는 smooth convex 최적화에서 임의의 합리적인 스텝사이즈와 유한한 에포크 수 조건 하에서 RR이 SGD를 지배함을 최초로 엄밀히 증명했다. 기존 이론의 두 가지 핵심 제약(스텝사이즈 $\eta \lesssim 1/nL$ 조건 및 에포크 수 임계값)을 모두 제거하고, RR의 최적 수렴 속도를 $\frac{LD^2}{nK}+\min\{\frac{\sigma_\star D}{\sqrt{nK}},(\frac{L\sigma_\star^2 D^4}{nK^2})^{1/3}\}$으로 개선함으로써 이론과 실제 간의 오랜 불일치를 해소했다.

arXiv:2512.04008v2cs.LG

Efficient Public Verification of Private ML via Regularization

Training with differential privacy (DP) guarantees dataset members that they cannot be identified by users of the released model. However, those data providers, and, in general, the public, lack methods to efficiently verify that models trained on their data satisfy DP guarantees. The amount of compute needed to verify DP guarantees for current algorithms scales with the amount of computation required to train the model. In this paper we design the first DP algorithm with near optimal privacy-utility trade-offs but whose DP guarantees can be verified cheaper than training. We focus on DP stochastic convex optimization (DP-SCO), where optimal privacy-utility trade-offs are known. Here we show we can obtain tight privacy-utility trade-offs by privately minimizing a series of regularized objectives and only using the standard DP composition bound. Crucially, this method can be verified with much less compute than training. This leads to the first known DP-SCO algorithm with near optimal privacy-utility whose DP verification scales better than training cost, significantly reducing verification costs on large datasets.

arXiv:2606.29893v1math.OC

AdaGrad does not adapt to Hölder-smoothness for composite objectives

We exhibit a simple deterministic one-dimensional convex composite optimization problem for which AdaGrad scheme does not achieve the classical convergence rate $\mathcal{O}(n^{-(1+ν)/2})$ associated with Hölder-smooth objectives. The example highlights a basic mismatch between classical AdaGrad accumulation and composite optimality. A main insight is that the gradient of the smooth term may not vanish at the optimum, causing AdaGrad to keep reducing its stepsize excessively and converge more slowly. We also discuss why alternative accumulation mechanisms based on gradient mappings or on successive gradient differences, avoid this pathology.