본 논문에서는 $m$개의 컴퓨팅 에이전트(agent) 네트워크가 피어 투 피어 통신을 통해 협업하며, 원시 변수(primal variable)와 쌍대 변수(dual variable) 모두에 비매끄러운(nonsmooth) 정규화 항이 존재하는 분산 확률적 비볼록-강오목(NCSC) 미니맥스 문제를 다룹니다. 결합 함수가 기댓값 또는 유한합(finite-sum) 형태이고, 원시 및 쌍대 변수에 각각 적용되는 이중 정규화 항이 볼록 함수인 경우를 고려합니다. 본 연구의 알고리즘 프레임워크는 라그랑주 승수(Lagrangian multiplier)를 도입하여 쌍대 변수에 대한 합의(consensus) 제약 조건을 제거합니다. 이를 분산 감소(VR) 기법과 결합한 제안 방법 VRLM은 반복(iteration)당 단 한 번의 이웃 통신만으로, 대규모 배치 또는 소규모 배치 VR 옵션 모두에서 일반적인 확률적 설정 하에 $\mathcal{O}(κ^3\varepsilon^{-3})$ 표본 복잡도(sample complexity)를 달성합니다. 여기서 $κ$는 문제의 조건수(condition number)이며 $\varepsilon$은 목표 해 정확도입니다. 대규모 배치 VR을 적용하면 추가로 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있습니다. 특수한 유한합 설정 하에서는 대규모 배치 VR을 사용하는 본 방법이 $\mathcal{O}(n + \sqrt{n} κ^2\varepsilon^{-2})$의 표본 복잡도와 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있으며, 여기서 $n$은 유한합의 성분 개수입니다. 모든 복잡도 결과는 본 연구에서 다루는 문제의 특수한 경우를 해결하는 소수의 기존 방법들이 달성한 최고 수준(best-known)의 결과와 일치합니다. 우리가 아는 한, 본 연구는 분산 확률적 설정에서 원시 및 쌍대 변수 모두에 일반적인 볼록 비매끄러운 정규화 항이 적용된 NCSC 미니맥스 문제에 대해 수렴 보장을 제공하는 최초의 연구입니다. 두 가지 머신러닝 문제에 대해 수치 실험을 수행하였으며, 코드는 https://github.com/RPI-OPT/VRLM 에서 다운로드할 수 있습니다.
우리는 외부 변수가 점별 최댓값의 기댓값을 최소화하는 확률적 비매끄 최적화 문제 클래스를 연구한다. 이 최소화-기댓값-최대화(minEmax) 문제는 Wasserstein 분포적 강건 최적화 및 적대적 강건 학습에서 발생하며, 기저 분포가 경험적(empirical)이 아닐 때 일반적으로 유한차원 미니맥스(minimax) 문제로 재표현할 수 없다. 우리는 가치 함수(value function)의 log-mean-exp 스무딩을 기반으로 한 확률적 스무딩 근위 그래디언트(proximal gradient) 방법을 제안한다. 콤팩트성(compactness) 및 Lipschitz형 가정 하에서, Goldstein 정상성(stationarity) 관점에서 비점근적 분석을 제시하고, 우리 방법이 생성하는 거의 확실(almost-sure)한 모든 군집점(cluster point)이 Clarke 정상점임을 보인다; Clarke 정칙성(regularity)에 의해, 이러한 점은 원래 문제에 대해 방향 정상점(directional stationary point)이기도 하다. newsvendor, 강건 회귀(robust regression), 적대적 강건 학습 문제에 대한 수치 실험은 제안 방법이 기존 베이스라인과 경쟁력 있음을 보여준다.
본 논문은 잡음이 포함된 관측값으로부터 미지의 립시츠(Lipschitz) 함수를 추정하는 실용적인 알고리즘을 제시하고, 그 수렴(convergence) 속도에 대한 상한을 확립한다. 이 접근법은 볼록 형태 제약 회귀(convex shape-restricted regression)의 최대-아핀(max-affine) 방법을 보다 일반적인 립시츠 설정으로 확장한다. 핵심 구성 요소는 최대-아핀 함수를 델타-볼록(delta-convex) 함수의 한 부류로 매핑하는 비선형 특징(feature) 확장으로, 이 부류는 립시츠 상수를 보존하면서 립시츠 함수의 보편적 근사기 역할을 한다. 이 성질을 활용하여, 추정기는 무작위 설계 환경에서 제곱 손실(loss) 및 서브가우시안(subgaussian) 분포 하에 데이터의 내재적 차원에 대해 미니맥스(minimax) 수렴 속도를 (로그 인수 범위 내에서) 달성한다. 알고리즘은 내재적 차원을 포착하기 위한 적응적 분할, 실제 립시츠 상수를 알 필요성을 제거하는 페널티 기반 정규화(regularization) 메커니즘, 그리고 볼록 초기화(initialization)와 국소 정제를 결합한 2단계 최적화 절차를 통합한다. 이 프레임워크는 볼록 형태 제약 회귀에도 간편하게 적용할 수 있다. 실험 결과, 최근접 이웃 및 커널(kernel) 기반 회귀를 포함한 이론적으로 정당화된 다른 방법들과 비교하여 경쟁력 있는 성능을 보임을 확인한다.
본 논문에서는 이중 최적화(Bilevel Optimization, BLO)에서의 새로운 가속 완전 일차 방법을 제안한다. 첫째, 하위 수준 함수가 전형적인 강볼록성(strong convexity) 가정을 만족하는 BLO에 대해, 완전 일차 오라클을 활용하는 (교란) 재시작 가속 완전 일차 이중 근사 방법(PRAF²BA) 알고리즘을 제안한다. 이 알고리즘은 복잡한 최적화 문제를 풀 때 근사 일차 및 이차 정류점(stationary point)을 찾는 데 있어 최신 오라클 쿼리 복잡도를 달성한다. 둘째, 비볼록-강볼록(nonconvex-strongly-convex, NCSC) 미니맥스 최적화를 BLO의 특수 사례로 적용함으로써, PRAF²BA는 근사 이차 정류점을 찾는 데 최신 복잡도를 달성하는 교란 재시작 가속 그래디언트 경사하강 상승법(PRAGDA)을 재발견한다. 또한, 하위 수준 함수가 전형적인 강볼록성 가정을 결여할 때 BLO에서 상위 목적 함수의 정류점을 찾는 어려움을 탐구한다. 이를 위해 하위 수준 문제의 처리 가능성을 보장하는 여러 정칙성 조건을 규명하고, 일반 볼록 하위 수준 함수에 대한 BLO의 난해성을 나타내는 강도(hardness) 결과를 제시한다. 이러한 정칙성 조건 하에서, 전환 그래디언트 방법(SGM)을 효율적인 서브루틴으로 활용하여 다항식 시간 내에 상위 목적 함수의 근사 정류점을 찾는 부정확 그래디언트-프리 방법(IGFM)을 제안한다. 제안된 알고리즘의 우수한 성능을 검증하기 위해 실제 문제에 대한 실증 연구를 제공한다.
파라메트릭 다중 작업 최적화(PMTO) 프레임워크를 제안하며, 고정된 유한 작업 집합 대신 연속적·무한한 파라미터화된 작업 공간에서 해(solution)와 작업 공간을 동시에 탐색한다. 오프라인 모드에서 가우시안 프로세스 기반 근사 모델로 작업 간 지식 전이를 통해 수렴을 가속화하고, 온라인 모드에서는 학습된 모델로 새로운 작업의 최적해를 즉시 예측하며, 로봇 컨트롤러 재구성 및 강건한 공학 설계 등 실세계 문제에서 유효성을 검증하였다.