PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13787v1math.OC

제약 조건이 있는 비평활 비볼록 확률적 최적화를 위한 최적 알고리즘

Optimal Algorithms for Nonsmooth Nonconvex Stochastic Optimization with Constraints

본 논문에서는 볼록 제약 집합 하에서 목적 함수가 평활(smooth)하지도 볼록(convex)하지도 않은 확률적 최적화(stochastic optimization) 문제를 위한 새로운 알고리즘을 제시합니다. 제안하는 알고리즘은 제약이 있는 문제에 대해 Liu et al. (2024)이 최근 정의한 $(δ,\varepsilon)$-골드스타인 정상점($(δ,\varepsilon)$-Goldstein stationary point)을 향상된 복잡도로 반환하며, 여러 설정에서 이 작업에 대해 최초로 최적의 수렴(convergence) 속도를 달성합니다. 구체적으로, 확률적 기울기(stochastic gradient)를 사용하여 최적임을 증명한 $\widetilde O(δ^{-1}\varepsilon^{-3})$ 속도를 달성하는 투영 기반(projection-based) 및 무투영(projection-free) 알고리즘을 설계하고, 0차 쿼리(zeroth-order queries)를 사용하여 차원 $d$에 대한 의존성 측면에서 최적이자 기존 연구를 개선한 $\widetilde O(dδ^{-1}\varepsilon^{-3})$ 속도를 달성합니다. 특히, 우리의 하한(lower bound)은 프랭크-울프 갭(Frank-Wolfe gap) 관점에서 제시되며 평활한 문제에서도 성립하므로 독립적인 관심 대상이 됩니다. 이러한 결과는 비볼록 확률적 최적화에서 제약 조건의 존재나 비평활성 모두에 의해 수렴 속도가 저하되지 않음을 보여줍니다. 본 분석은 제약 없는 최적화의 관련 기법을 확장하여 온라인 선형 최적화(online linear optimization)로의 귀약(reduction)을 기반으로 합니다.

arXiv:2609.30499v2stat.ML

거리 의존적 모멘트 조건에서의 일반적인 비볼록 SGD: 유한 시계 정지성과 나가예프 한계

Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds

균일한 노이즈 모멘트 한계 조건은 반복점(iterate)에 따라 변동성이 증가하는 확률적 그래디언트를 배제합니다. 본 논문에서는 거리 의존적인 조건부 모멘트 하에서, 매끄럽고 하한이 있는 비볼록(nonconvex) 목적 함수에 대한 일반적인 단일 샘플 확률적 경사하강법(SGD)을 연구합니다. 2차 모멘트 조건만으로도 직접적인 하강-변위(descent--displacement) 논증을 통해 시계 의존적 스텝사이즈를 갖는 $T^{-1/3}$ 기대 평균 제곱 그래디언트 정지성을 도출합니다. 명시적인 오라클 복잡도 따름정리는 $Δ$가 초기 목적 함수 차이이고 $σ^2+b_2\|x-x_1\|^2$가 분산을 제한할 때 $Lb_2Δ^3\varepsilon^{-6}$ 및 $LΔσ^2\varepsilon^{-4}$ 확률적 항을 포함하여 기존에 알려진 매끄러운 블룸-글라디셰프(Blum--Gladyshev, BG-0) 하한과 일치합니다. 따라서 수정되지 않은 일반 SGD는 이 2차 모멘트 클래스에서 미니맥스 확률적 복잡도를 달성합니다. $p>2$인 경우, 예측 가능한 국소화(localization)와 힐베르트 공간 푹-나가예프(Fuk--Nagaev) 부등식을 통해 로그 분산과 다항식 희귀 충격(rare-shock) 기여를 분리하는 높은 확률 한계를 얻습니다. 국소화 반경은 재귀식으로부터 유도되므로, 유계 반복점 가정, 클리핑, 정규화(normalization), 모멘텀(momentum) 또는 증가하는 배치(batch) 크기가 필요하지 않습니다. 또한 신뢰도 증가율(increasing-confidence rates), $\sqrt{T}$ 정지성을 회복하는 목적 함수 차이 성장 개선, 그리고 확률적 $L^p$-립시츠 예시를 제시합니다. 광범위한 BG-0 최적성 진술은 추가적인 오라클 구조를 통해 더 빠른 알고리즘이 허용되는 더 좁은 평균 제곱 평활 클래스와 구별됩니다.

arXiv:2607.22906v1cs.LG

하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법

Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity

연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.

arXiv:2607.08954v1math.OC

국소 정칙성 하에서 1차 증강 라그랑지안 방법을 통한 비볼록 복합 함수 제약

Nonconvex Composite Functional Constraints via First-Order Augmented Lagrangian Methods under Local Regularity

우리는 볼록-복합 구조를 가진 비볼록 제약 최적화 문제의 한 클래스에 대해 프라이멀-듀얼 방법의 비점근적 수렴을 연구한다. 이 클래스에서 목적 함수와 함수 부등식 제약 모두 매끄러운 비선형 내부 사상과 합성된 볼록 립시츠 외부 함수로 주어진다. 비볼록 함수 부등식 시스템에서의 제약 위반과 승수에 대한 사전 유계의 부재로 인해 분석이 복잡해진다. 이를 해결하기 위해 쌍대 변수를 보조 컴팩트 집합으로 제한하고, 비평활 비볼록-오목 미니맥스 재형식화를 통해 평활화된 근사-선형 증강 라그랑지안 방법을 분석한다. 주요 기여는 절삭 미니맥스 문제의 정상성을 원래 제약 문제에 대한 KKT 조건으로 변환하는 유한 시간 메커니즘이다. 충분히 큰 페널티 매개변수에 대해, 제어된 수의 반복을 제외한 모든 반복이 근-실현 가능 영역에 진입함을 보인다. 이 영역에서 국소 원뿔 정칙성 조건이 관련 근사-선형 승수를 균일하게 유계로 만들어, 선택된 반복에서 인위적 쌍대 절삭이 비활성화된다. 이 메커니즘을 토대로 KKT 잔차 측면에서 제안된 방법의 명시적 수렴 속도를 확립한다. 쌍대 정규화를 적용하면 전역 쌍대 오차 한계와 바이어스 균형 논증에 의해 $O(K^{-1/3})$ 속도가 얻어진다. 비정규화의 경우에는 외부 함수의 구간별 선형성을 포함한 추가적인 국소 구조 가정 하에서, 국소 쌍대 오차 한계가 더 날카로운 $O(K^{-1/2})$ 속도를 산출한다.

arXiv:2607.09167v1cs.LG

비볼록 최적화에서의 스케줄-프리 방법 이해: 수렴률 보장과 안장점 탈출

Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles

스케줄-프리(Schedule-Free) 방법은 학습률 스케줄러의 설계 및 튜닝 부담을 완화하면서도 튜닝된 스케줄러를 사용하는 최적화 기법과 동등하거나 때로는 이를 능가하는 성능을 보여 점점 더 많은 관심을 받고 있다. 이러한 강력한 실증적 결과에도 불구하고, 현대 머신러닝 목적 함수가 주로 발생하는 비볼록(nonconvex) 최적화 환경에서의 수렴 이론은 거의 탐구되지 않은 채로 남아 있었다. 본 논문에서는 보조적 수정이나 제한적 조건 없이 표준 형태의 스케줄-프리 경사하강법과 스케줄-프리 확률적 경사하강법에 대해, 매끄럽지만 비볼록일 수 있는 목적 함수에 대한 최악의 경우(worst-case) 분석을 제공한다. 이 방법들과 연관된 연속 시간 극한 상미분방정식으로부터 도출한 Lyapunov 분석을 기반으로, 스케줄-프리 경사하강법과 스케줄-프리 확률적 경사하강법이 1차 방법들 중 달성 가능한 최적의 최악의 경우 수렴률을 달성함을 보인다. 나아가 스케줄-프리 경사하강법을 비자율 동역학 시스템으로 정식화하고, 임의로 작은 일회성 섭동 하에서 엄격한 안장점(strict saddle) 회피를 증명한다. 이러한 이론적 결과들은 스케줄-프리 방법이 보여주는 강력한 성능에 대한 더 나은 이해를 제공한다.

arXiv:2607.01755v1math.OC

Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization

비매끄럽고(nonsmooth) 비볼록한(nonconvex) 분산 최적화 문제에서 에이전트 간 통신을 압축(communication compression)하는 일반 프레임워크 DESC를 제안하며, 비편향 압축과 수축 압축(contractive compression)을 통합한다. 연속시간 미분 포함(differential inclusion) 궤적과의 연결을 통해 Clarke 정칙성이 없는 비매끄러운 목적 함수에 대해서도 전역 수렴(global convergence)을 이론적으로 확립하고, 수치 실험으로 통신-정확도 트레이드오프를 실증한다.

arXiv:2606.28307v1math.OC

비볼록 및 비립�chitz 최적화에서 Bregman ADMM의 2차 KKT 보장

Second-Order KKT Guarantees for Bregman ADMM in Nonconvex and Non-Lipschitz Optimization

우리는 양측 상대 매끄러움(two-sided relative smoothness) 하에서 비볼록 선형 제약 문제에 대한 Bregman ADMM을 분석한다. 이 조건은 표준 Lipschitz 그래디언트 가정을 Bregman 커널에 대한 헤시안 비교로 대체한다. 이 설정은 전역 Lipschitz-그래디언트 상수가 존재하지 않을 수 있는 행렬 및 텐서 모델에서 발생하는 다항식 목적함수를 포괄한다. 우리는 불변 개방 상태공간 영역에서 Bregman ADMM의 한 번의 반복이 매끄러운 원-듀얼 고정점 사상을 정의하며, 그 strict-saddle KKT 점들이 불안정 고정점임을 보인다. 따라서 무작위 초기화로부터 반복값은 확률 0으로 strict saddle에 수렴한다. 기존 1차 수렴 결과와 결합하면, 이는 극한 KKT 점의 거의 확실한(almost-sure) 2차 정상성을 제공한다. 우리는 분산 최적화를 위한 다중 블록 star consensus 공식화로 분석을 확장한다. 기술적 새로움은 2블록 스펙트럴 논증에서 Bregman 특유의 대칭화 및 스케일링 단계를 포함한 행렬식 축소와, consensus 경우 star 그래프 구조를 이용한 영공간(null space) 상쇄에 있다. 분산 행렬 분해에 대한 수치 실험이 이론을 뒷받침하며, 대칭 텐서 분해 예시는 분리 가능한 consensus 설정을 넘어선 더 넓은 Bregman proximal splitting 아이디어를 보여준다.

arXiv:2606.22326v1math.OC

비매끄 비볼록 최적화에서 Adam의 수렴

Adam Converges in Nonsmooth Nonconvex Optimization

바이어스 보정을 포함한 원래 Adam 알고리즘에 대해 비매끄 비볼록 최적화에서의 최초 유한 시간 수렴 분석을 제시하며, 무작위 스케일링 학습률 하에서 $1/T^{2/13}$ 수렴률을 증명한다. heavy-tailed noise 영역에도 적용되며, 이론은 최근 경험적 연구와 맞는 $β_1=β_2$ 매개변수 선택 하에서 성립한다.