분산 확률적 이중 정규화 비볼록-강오목 미니맥스 문제를 위한 분산 감소 가속 기법
Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems
본 논문에서는 $m$개의 컴퓨팅 에이전트(agent) 네트워크가 피어 투 피어 통신을 통해 협업하며, 원시 변수(primal variable)와 쌍대 변수(dual variable) 모두에 비매끄러운(nonsmooth) 정규화 항이 존재하는 분산 확률적 비볼록-강오목(NCSC) 미니맥스 문제를 다룹니다. 결합 함수가 기댓값 또는 유한합(finite-sum) 형태이고, 원시 및 쌍대 변수에 각각 적용되는 이중 정규화 항이 볼록 함수인 경우를 고려합니다. 본 연구의 알고리즘 프레임워크는 라그랑주 승수(Lagrangian multiplier)를 도입하여 쌍대 변수에 대한 합의(consensus) 제약 조건을 제거합니다. 이를 분산 감소(VR) 기법과 결합한 제안 방법 VRLM은 반복(iteration)당 단 한 번의 이웃 통신만으로, 대규모 배치 또는 소규모 배치 VR 옵션 모두에서 일반적인 확률적 설정 하에 $\mathcal{O}(κ^3\varepsilon^{-3})$ 표본 복잡도(sample complexity)를 달성합니다. 여기서 $κ$는 문제의 조건수(condition number)이며 $\varepsilon$은 목표 해 정확도입니다. 대규모 배치 VR을 적용하면 추가로 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있습니다. 특수한 유한합 설정 하에서는 대규모 배치 VR을 사용하는 본 방법이 $\mathcal{O}(n + \sqrt{n} κ^2\varepsilon^{-2})$의 표본 복잡도와 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있으며, 여기서 $n$은 유한합의 성분 개수입니다. 모든 복잡도 결과는 본 연구에서 다루는 문제의 특수한 경우를 해결하는 소수의 기존 방법들이 달성한 최고 수준(best-known)의 결과와 일치합니다. 우리가 아는 한, 본 연구는 분산 확률적 설정에서 원시 및 쌍대 변수 모두에 일반적인 볼록 비매끄러운 정규화 항이 적용된 NCSC 미니맥스 문제에 대해 수렴 보장을 제공하는 최초의 연구입니다. 두 가지 머신러닝 문제에 대해 수치 실험을 수행하였으며, 코드는 https://github.com/RPI-OPT/VRLM 에서 다운로드할 수 있습니다.