Recent results [arXiv:2602.04378, arXiv:2602.22608] establish lower bounds for optimization over strongly convex sets, covering specified Frank-Wolfe updates and unrestricted deterministic first-order linear minimization oracle (LMO) methods, respectively. Neither establishes a lower bound for unrestricted randomized methods. We close this gap by proving an $\Omega(L\operatorname{diam}(S)^2/T^2)$ distributional lower bound after $T$ oracle calls for randomized first-order LMO methods over strongly convex sets, with final outputs required to be feasible on every instance and seed. While our construction reuses the family of [arXiv:2602.22608], our proof characterizes the conditional distribution of the hidden permutation after adaptive queries and bounds the expected decrease of a combinatorial statistic controlling optimizer variance. We also show that the same error threshold holds with probability at least $3/4$ and yields a stopping-time tail bound. Our construction uses the same curvature-diameter coupling as [arXiv:2602.22608]. Comparisons with the upper bound [arXiv:1406.1305] must account for this coupling. Separately, we show that prescribed slow exact-line-search Frank-Wolfe trajectories can locally amplify sufficiently small initialization errors, corresponding to roughly one extra bit of initialization accuracy per iteration, and that initializations satisfying a particular eventual slow envelope have planar measure zero.
하드 마진(hard-margin) SVM 학습은 두 볼록 껍질(convex hull) 사이의 거리 문제이며, 삼각형 알고리즘(Triangle Algorithm, TA)은 이를 인증된 쌍대성 갭(duality gap)과 함께 해결합니다. 본 논문에서는 보호된 블록 전이(guarded block transfers)를 제안합니다. 이는 스캔당 $k$개의 Mitchell–Demyanov–Malozemov(MDM) 전이를 하나의 정확한 선 탐색(line search)으로 집약하며, 점의 수 $n$과 무관한 비용으로 단일 최적 전이와의 비교를 통해 보호되고, 선행 전이가 용량 제한(capacity-clipped)될 경우 어웨이 스텝(away step)으로 대체됩니다. 목적 함수가 $1$-강볼록($1$-strongly convex)인 민코프스키 차이(Minkowski-difference) 폴리토프에서, 우리는 조합적 스왑 스텝(swap-step) 한계 없이 명시적 상수를 갖는 전역 선형 수렴(global linear convergence)을 증명합니다. 단계당 수축(per-step contraction)은 $k$와 무관하며 드롭 횟수 한계(drop-count bound)만이 $k$에 따라 증가하므로, 스캔 절감은 증명된 것이 아니라 측정된 것인 반면 집약은 증명 가능하게 안전합니다. TA 인증서는 Frank–Wolfe 갭을 현재 거리로 나눈 값이므로 갭-안전 스크리닝(gap-safe screening)이 적용되며, 기하학적 요소의 로그 인수를 제외하고 최적 페이스(optimal face) 바깥의 모든 가중치 0인 점을 제거한 후의 반복 횟수를 $O\!\left(\tfrac{k}ρ\log\tfrac{1}τ\right)$로 제한합니다. 여기서 $ρ$는 수렴 속도 상수이고 $τ$는 최적 페이스 마진입니다. 5개의 LIBSVM 벤치마크에서, 본 논문의 제출본보다 더 공정한 베이스라인들을 적용했을 때 제안하는 솔버는 양쪽 모두 수렴하는 모든 경우에서 베이스라인과 4~5자리까지 일치하며, 희소 지지(sparse-support) 하드 마진에서는 LIBSVM과 대등하고 자체 블렌디드 쌍별 조건부 그래디언트(BPCG)보다 우수합니다. 그러나 자체 전체 캐시 순차적 최소 최적화(SMO) 코드는 커널 $L_2$ 마진에서 이와 대등하거나 능가하고, LIBLINEAR의 쌍대 솔버는 분리 가능한 $L_2$ 마진에서 최대 $4.5\times$ 더 빠르며, 제안하는 솔버는 밀집 지지(dense-support) $L_2$ 마진에서는 LIBLINEAR의 뉴턴(Newton) 솔버보다, 거의 맞닿는 커널 껍질에서는 LIBSVM보다 1~3자릿수 더 느립니다. 이 알고리즘의 강점은 속도가 아니라 인증서에 있습니다.
다중 경사하강법(Multiple-gradient descent)은 일반적으로 유클리드 기하학에서 공식화되는 반면, 행렬 인식 옵티마이저는 다른 노름(norm)에 의해 유도된 방향을 사용합니다. 본 논문에서는 노름 제약이 있는 선형 최소화 오라클과 태스크 가중치의 엔트로피 업데이트를 결합한 단일 루프 다중 목적 최적화 기법을 분석합니다. 유한 차원 노름 쌍에 대해 결정론적 환경에서 $O(T^{-1/2})$의 에르고딕 정지성(ergodic stationarity) 수렴 속도를 확립하며, 비정규화된 경우 평활성(smoothness) 및 하한 유계성으로부터 필요한 궤적 그래디언트 경계를 유도합니다. 확률적 그래디언트와 유계 그래디언트 가정 하에서는 단일 지속 혼합 그래디언트 모멘텀 버퍼를 통해 선행 항이 태스크 수에 명시적으로 의존하지 않는 $O(T^{-1/4})$ 수렴 속도를 산출합니다. 또한 임의의 유계 그래디언트 시퀀스에 대해 내부 가중치 목적식의 정적 리그릿(static regret)을 확립하고, 엔트로피 정규화와 가중치 하한(weight floor)을 적용하여 궤적 그래디언트 경계를 조건으로 에르고딕 정지성을 유지하면서 웜업(burn-in) 이후 반복별 내부 갭 제어를 달성합니다. 최적의 혼합 그래디언트는 스펙트럼 및 부호 기하학에서 유일하지 않을 수 있으므로, 선택에 독립적인 내부 갭의 필요성을 부여합니다. 본 분석은 동시 연구인 MOON에서 연구된 스펙트럼 구성을 일반적인 노름으로 확장합니다. 실험을 통해 기존 멀티태스크 옵티마이저와 제안 방법을 비교하고 오라클, 가중치 부여 및 모멘텀 선택을 검토합니다.
대칭 다면체(symmetric polytope) $P=\{\mathbf{x}\in\mathbb{R}^d:\|\mathbf{A}\mathbf{x}\|_\infty\le1\}$ ($\mathbf{A}\in\mathbb{R}^{n\times d}$)의 존 타원체(John ellipsoid)는 Cohen, Cousins, Lee 및 Yang (COLT 2019)부터 그 후속작들 [WY24, CLS+25]에 이르는 긴 계보의 레버리지 점수(leverage-score) 알고리즘들을 통해 계산되며, 이들은 모두 $\Theta(\varepsilon^{-1}\log(n/d))$ 반복(iteration) 내에 $(1+\varepsilon)$-근사에 도달합니다. 우리는 이 복잡도를 현대의 연구들이 혼동하는 세 가지 비용(인증(certification), 식별(identification), 정확도(accuracy))으로 분리하고, 역사적인 $\varepsilon^{-1}$ 항이 첫 번째 비용(인증)에만 있음을 밝혀냅니다. 이와 동등한 D-최적 설계(D-optimal-design) 형태 $\min_{\mathbf{p}\in\Delta_n}-\log\det(\sum_i p_i\mathbf{a}_i\mathbf{a}_i^\top)$에서 레버리지 점수 오라클(leverage-score oracle)은 정확히 1차 오라클(first-order oracle)이며, $(1+\varepsilon)$-존 보장은 Frank-Wolfe 간격(Frank-Wolfe gap) $g(\mathbf{p})\le\varepsilon d$에 해당합니다; 이러한 대응 관계를 통해 비용들이 분리됩니다. $\varepsilon^{-1}$은 인증 인공물(artifact)입니다: 해당 계보 전반에 걸쳐 사용되는 인증서인 반복(iterates)의 균일한 평균은 각 반복(iteration)이 얼마나 저렴하게 만들어지든 간에 정확히 $\Theta(1/T)$의 간격을 가집니다. 대신 마지막 반복점(last iterate)을 목표로 삼는다면 동일한 오라클은 빠릅니다: $\varepsilon$와 무관한 설정 $C(\mathbf{A})$ 이후, 웜 스타트된 가속화된 방법은 $C(\mathbf{A})+O(\sqrt{\kappa}\log(1/\varepsilon))$ 번의 질의(query)로 보장 조건에 도달하며, 최적 면(optimal face)이 식별되면 면상 문제(facial problem)는 오라클이 헤시안(Hessian)을 정확히 복원하는 비제약 자기 콩코드 최소화(unconstrained self-concordant minimization)가 되므로 감쇠 뉴턴(damped Newton)은 $O(\log\log(1/\varepsilon))$ 단계만 필요하며, 총 $C(\mathbf{A})+O(d^2\log\log(1/\varepsilon))$ 번의 질의가 소요됩니다. 따라서 정확도 의존성은 $\varepsilon$와 무관하고 조건(condition)에 의존적인 설정 이후 이중 로그(double logarithmic) 형태를 띱니다; 남아있는 개방 문제는 식별 비용(최적 면에 도달하기 위한 조건 무관(condition-free) 상계)과 하한(lower bounds)입니다. 정확도는 장애 요소가 아닙니다.