Recent results [arXiv:2602.04378, arXiv:2602.22608] establish lower bounds for optimization over strongly convex sets, covering specified Frank-Wolfe updates and unrestricted deterministic first-order linear minimization oracle (LMO) methods, respectively. Neither establishes a lower bound for unrestricted randomized methods. We close this gap by proving an $\Omega(L\operatorname{diam}(S)^2/T^2)$ distributional lower bound after $T$ oracle calls for randomized first-order LMO methods over strongly convex sets, with final outputs required to be feasible on every instance and seed. While our construction reuses the family of [arXiv:2602.22608], our proof characterizes the conditional distribution of the hidden permutation after adaptive queries and bounds the expected decrease of a combinatorial statistic controlling optimizer variance. We also show that the same error threshold holds with probability at least $3/4$ and yields a stopping-time tail bound. Our construction uses the same curvature-diameter coupling as [arXiv:2602.22608]. Comparisons with the upper bound [arXiv:1406.1305] must account for this coupling. Separately, we show that prescribed slow exact-line-search Frank-Wolfe trajectories can locally amplify sufficiently small initialization errors, corresponding to roughly one extra bit of initialization accuracy per iteration, and that initializations satisfying a particular eventual slow envelope have planar measure zero.
우리는 노름 공간 $(\mathcal{E}, \|\cdot\|)$ 위에서의 확률적 고정점 방정식 $\mathbf{T}(\mathbf{x}) = \mathbf{x}$를 연구한다. 여기서 연산자 $\mathbf{T}$는 비팽창적(nonexpansive) 또는 수축적(contractive)이며, 유계 이차 중심 모멘트를 갖는 비편향 확률적 평가를 통해서만 접근 가능하다. $\varepsilon > 0$, $\delta \in (0, 1)$이 주어졌을 때, 목표는 $\|\mathbf{T}(\mathbf{x}) - \mathbf{x}\| \leq \varepsilon$을 확률 적어도 $1 - \delta$로 만족하는 $\mathbf{x} \in \mathcal{E}$를 출력하는 것이다. 우리는 이차적으로 평활화 가능한 바나흐(Banach) 공간을 위한 분산 감소(variance-reduced) 점진적 Halpern 방법인 VR-GHAL을 제안한다. 핵심 알고리즘 구성 요소는 오라클 평가의 클리핑된 차이에 기반한 재귀적 확률적 추정기이다: $\tau(\mathbf{x}; \xi)$ 자체를 클리핑하는 대신, 립시츠(Lipschitz) 스케일 $\gamma\|\mathbf{x} - \mathbf{y}\|$에서 확률적 차이를 클리핑한다. 이를 통해 추정기는 알고리즘 궤적을 따라 경로별 립시츠 성질을 유지하면서도, 원래 노름의 유한 이차 모멘트 하에서 마팅게일 집중(martingale concentration)을 허용한다. 우리의 주요 정리는 상시(anytime) 고확률 잔차 한계를 제공한다: 확률 적어도 $1 - \delta$의 단일 사건 위에서, 잔차는 하위 차수 로그 인수를 제외하고 에폭에 걸쳐 거의 기하적으로 감소한다. 유계 분산만을 가정하고 목표 오차 $\varepsilon$ 및 $\mathbf{T}$의 립시츠 상수 $\gamma \in (0, 1]$에 대한 의존성만 표시할 때, 결과적인 오라클 복잡도는 $\min\{\varepsilon^{-5}, (1-\gamma)^{-3}\varepsilon^{-2}\}$이다. 기댓값 립시츠(Lipschitz-in-expectation) 오라클 하에서는 의존성이 대응하는 $\varepsilon^{-3}$ 비팽창적 수렴률($\gamma = 1$의 경우)로 개선되며, 샘플별 비팽창성(samplewise nonexpansiveness) 하에서는 $\varepsilon^{-2}$로 개선된다.
차분 프라이버시(DP) 조건 하에서 립시츠 볼록 손실의 경험적/모집단 위험 최소화에 필요한 1차 오라클 쿼리 수의 하한을 이론적으로 분석하며, 비매끄러운 손실과 프라이빗 프록시 오라클 설정에서 $\Omega(\min\{\frac{\sqrt{d}}{\alpha^2}, \frac{d}{\log(1/\alpha)}\})$의 실행 시간이 필수임을 증명한다. 매끄러운 손실 설정으로의 확장과 그래디언트 양자화(quantization)에 대한 정보 제한 오라클 분석을 통해, DP 최적화가 비프라이빗 방법 대비 차원에 비례하는 실행 시간 패널티를 지불함을 처음으로 공식적으로 입증한다.
경험적 위험 최소화(ERM)를 위한 1차 최적화 알고리즘에 대한 최근 연구는 ERM 손실 함수의 매끄러움이 최적화 파라미터가 아닌 학습 데이터 영역에서 존재할 때, 이를 활용하여 경사하강법(GD) 방식의 오라클 복잡도를 개선할 수 있음을 시사합니다. 본 논문에서는 데이터 영역 내의 등거리 점에서 1차 오라클을 쿼리하여 데이터 영역의 적절한 크기 패치에 대한 결과 그래디언트 샘플의 다항식 보간식을 구축함으로써, 각 반복에서 전체 그래디언트를 근사하는 부정확한 그래디언트 방법인 구간별 다항식 보간 기반 경사하강법(PPI-GD)을 제안합니다. 데이터 공간 차원이 학습 샘플 수의 폴리로그 함수로 제한될 때, 강볼록 및 비볼록 손실 함수에 대한 PPI-GD의 오라클 복잡도를 분석하였으며, 손실 함수가 충분히 매끄러운 경우 주요 상황에서 여러 GD 변형 모델보다 성능이 우수함을 확인했습니다. 또한, 본 분석은 이중 삼차 스플라인 보간식의 오차 분석 기법을 $d$-변수 텐서 곱 다항식 보간식 설정으로 확장하며, 이는 보간 분석에서 별도의 가치가 있을 수 있습니다.