비볼록 및 비립�chitz 최적화에서 Bregman ADMM의 2차 KKT 보장
Second-Order KKT Guarantees for Bregman ADMM in Nonconvex and Non-Lipschitz Optimization
우리는 양측 상대 매끄러움(two-sided relative smoothness) 하에서 비볼록 선형 제약 문제에 대한 Bregman ADMM을 분석한다. 이 조건은 표준 Lipschitz 그래디언트 가정을 Bregman 커널에 대한 헤시안 비교로 대체한다. 이 설정은 전역 Lipschitz-그래디언트 상수가 존재하지 않을 수 있는 행렬 및 텐서 모델에서 발생하는 다항식 목적함수를 포괄한다. 우리는 불변 개방 상태공간 영역에서 Bregman ADMM의 한 번의 반복이 매끄러운 원-듀얼 고정점 사상을 정의하며, 그 strict-saddle KKT 점들이 불안정 고정점임을 보인다. 따라서 무작위 초기화로부터 반복값은 확률 0으로 strict saddle에 수렴한다. 기존 1차 수렴 결과와 결합하면, 이는 극한 KKT 점의 거의 확실한(almost-sure) 2차 정상성을 제공한다. 우리는 분산 최적화를 위한 다중 블록 star consensus 공식화로 분석을 확장한다. 기술적 새로움은 2블록 스펙트럴 논증에서 Bregman 특유의 대칭화 및 스케일링 단계를 포함한 행렬식 축소와, consensus 경우 star 그래프 구조를 이용한 영공간(null space) 상쇄에 있다. 분산 행렬 분해에 대한 수치 실험이 이론을 뒷받침하며, 대칭 텐서 분해 예시는 분리 가능한 consensus 설정을 넘어선 더 넓은 Bregman proximal splitting 아이디어를 보여준다.