PyTorchKR Papers

최신 논문

총 19편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.08483v2cs.LG

모멘텀 경사하강법의 수정된 손실: 미세 입도 분석

Modified Loss of Momentum Gradient Descent: Fine-Grained Analysis

본 연구에서는 고정된 모멘텀(momentum) 하이퍼파라미터 $\beta\in (0, 1)$가 메모리의 지수적 감쇠를 제공하는 폴리아크(Polyak, 1964)의 헤비볼 모멘텀(HB) 경사하강법을 분석한다. Kovachki와 Stuart(2021)의 연구를 바탕으로, 스텝 크기 $h$가 충분히 작다면 지수적으로 끌어당기는 불변 다양체 위에서 이 알고리즘이 수정된 손실(loss)을 갖는 순수 경사하강법(plain gradient descent)과 정확히 일치함을 증명한다. 수정된 손실이 닫힌 형식(closed-form)의 표현식을 허용하지는 않지만, 임의의 유한 차수 $\mathcal{R}$에 대해 $O(h^{\mathcal{R}})$ 오차 수준까지 이를 기술하며, 전역적(유한 "시간" 지평) 궤적 근사 한계 $O(h^{\mathcal{R}})$를 증명한다. 이어 HB의 무기억 근사 기저에 있는 조합론에 대한 미세 입도 분석(fine-grained analysis)을 수행하며, 특히 오일러 다항식(Eulerian polynomials)과 나라야나 다항식(Narayana polynomials)을 포함하고 계수별로 그 사이에 위치하는 $\beta$에 대한 풍부한 다항식군이 내부에 숨겨져 있음을 발견한다. 또한 이러한 다항식들이 특정 그래프 결합다면체(graph-associahedra)의 $h$-다항식임을 증명한다. 주요 결과의 따름정리로, Rosca 등(2023)을 일반화하여 (엄밀한 경계를 갖는) 임의의 유한 근사 차수의 연속 수정 방정식과 HB 동역학을 근사하는 주 흐름(principal flow)을 도출한다. 근사 정리는 풀배치(full-batch) 및 미니배치(mini-batch) HB 모두를 포괄한다. 본 연구 결과는 HB의 주요 특성에 대한 새로운 통찰을 제시하며, 다른 최적화(optimization) 알고리즘의 유사한 분석을 위한 로드맵을 제공한다.

arXiv:2604.13870v2math.OC

경사하강법의 마지막 반복점은 종종 (약간) 차선책이다

Gradient Descent's Last Iterate is Often (slightly) Suboptimal

본 논문에서는 경사하강법(GD) 또는 그 확률적 변형인 확률적 경사하강법(SGD)을 사용하여 볼록 립시츠(convex Lipschitz) 함수를 최소화하는 널리 연구된 설정을 고려하고, 마지막 반복점 수렴(last iterate convergence)을 살펴봅니다. 현재까지 표준적인 보폭(stepsize) 선택을 사용할 경우 $T$단계 후 $\log T/\sqrt{T}$의 마지막 반복점 수렴 속도를 보이는 것으로 알려져 있습니다. Jain 등[2019]의 획기적인 연구에서는 비표준 보폭 시퀀스를 구성하여 최적의 $1/\sqrt{T}$ 속도를 회복했습니다. 그러나 이 시퀀스는 임의의 시간 지평(time horizon)에 적용 가능한 일반적인 보폭 스케줄과 달리 $T$를 사전에 선택해야 합니다. 또한 Jain 등은 $T$에 대한 사전 지식 없이는 어떤 보폭 시퀀스도 SGD의 마지막 반복점에 대해 최적의 오차를 보장할 수 없다고 추측했으나, 이는 지금까지 증명되지 않은 상태로 남아 있었습니다. 본 연구에서는 이 추측을 증명하며, 실제로 노이즈가 없는 GD의 경우에도 임의 시점(anytime) 마지막 반복점 보장을 고려할 때 $T$에 대한 추가적인 폴리로그(poly-log) 인수를 피하는 것이 불가능함을 보입니다.

arXiv:2607.22906v1cs.LG

하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법

Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity

연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.

arXiv:2607.22474v1cs.LG

음수 릿지 엔드포인트를 넘어서: 음수 이동 경사하강법을 통한 혼합 부호 스펙트럼 정규화

Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent

과매개변수화 선형 회귀에서, 많은 약한 스펙트럼 방향은 신호를 담는 스펙트럼에 릿지 패널티처럼 작용한다. 음수 릿지는 필터를 1 위로 밀어 올리는 자연스러운 보정이다. 그러나 안정적인 음수 릿지 엔드포인트는 구조적으로 한계가 있다: 그 극은 0이 아닌 최소 경험적 고유값 아래에 머물러야 하며, 더 작은 고유값을 더 큰 고유값보다 더 강하게 반수축(anti-shrink)한다. 조기 종료 음수 이동 경사하강법은 이 제약을 벗어난다. 그 필터는 예정된 극에서 매끄럽고 혼합 부호를 허용한다: 릿지리스(ridgeless) 이상 방향은 선행 접두를 형성하고, 더 낮은 방향은 수축되거나 노출(exposure)이 제어되며, 종료 시점이 교차점을 설정한다. 가우시안 스파이크-플랫(spike-plus-flat) 모델에서 Marchenko-Pastur 장벽을 발견한다: 암시적 패널티를 상쇄하는 이동(shift)은 최소 경험적 고유값 위 bulk 폭(bulk width)에 위치하며, 명시적 조건 하에서 종료된 경로는 모든 허용 가능한 엔드포인트 대비 위험(risk)에서 다항식 계수만큼 개선한다. 주요 정리는 일반적인 고유효순위(high-effective-rank) 꼬리를 허용한다: 그 trace가 암시적 하한(floor)을 설정하고, 제곱 스펙트럼이 노출을 제어하며, 하한 임계(floor-critical) 경로는 양의 수축(positive shrinkage)을 넘어 한꺼번에 모든 head 스케일을 복원하고, 스케일이 분리되면 릿지리스의 모든 균일 재스케일링까지도 포함한다. 비수축(noncontractive) 이동 동역학을 다루는 것이 핵심 기술적 과제이며, 국소화된 Duhamel 적분이 이를 제어한다. 유한 격자 홀드아웃(hold-out) 부등식이 분리(separations)를 검증으로 선택된 알고리즘으로 전달한다.

arXiv:2607.12172v1cs.DC

분산 경사하강법: 병목 구간과 예산 복잡도

Decentralized Gradient Descent: Bottleneck Regimes and Budget Complexity

분산 경사하강법(decentralized gradient descent, DGD)은 에이전트 네트워크에서 분산 최적화 문제를 풀기 위해 널리 사용된다. 수렴 특성은 잘 이해되어 있지만, 규정된 정확도를 달성하는 데 필요한 통신 및 계산 자원에 대해서는 상대적으로 덜 알려져 있다. 본 논문에서는 자원 인식(resource-aware) 관점에서 DGD를 연구하고, 목표 오차 수준을 달성하는 데 필요한 통신-계산 예산을 특성화한다. 우리는 서로 다른 오차 규모에서 최적화 역학을 지배하는 요인이 달라지는 병목 중심(bottleneck-centric) 프레임워크를 제안한다. 구체적으로 초기화, 목적 함수 이질성(objective heterogeneity) 및 네트워크 연결성, 그래디언트 노이즈, 통신 노이즈가 지배하는 동작 구간을 식별한다. 이러한 효과를 포착하기 위해 두 가지 기본량인 그래디언트 다양성 대 네트워크 연결성 비율(gradient-Diversity-to-Network-connectivity Ratio, DNR)과 그래디언트 대 통신 노이즈 비율(Gradient-to-Communication-noise Ratio, GCR)을 도입한다. 이들이 최적화 과정에서 순차적으로 등장하는 병목의 순서와 그에 대응하는 예산 최적 동작 전략을 결정함을 보인다. 다단계 분석을 통해 규정된 정확도 달성에 필요한 예산 자원을 정량화하는 최적 보폭(stepsize) 선택과 명시적 예산-복잡도 상한을 도출한다. 결과 식은 전체 예산이 연속적인 병목에 대응하는 기여로 어떻게 분해되는지 밝히고, 목적 함수 이질성, 네트워크 연결성, 그래디언트 노이즈, 통신 노이즈 사이의 근본적 트레이드오프에 대한 통찰을 제공한다.

arXiv:2607.08380v1cs.LG

플랫 미니마 다양체 근방에서 큰 스텝 크기를 사용하는 경사하강법의 동역학

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

경사하강법(GD) 이론에서 중요한 양 중 하나는 목적 함수 헤시안의 최대 고유값으로 정의되는 날카로움(sharpness)이다. 고전적 분석은 일반적으로 스텝 크기가 날카로움의 역수의 두 배보다 균일하게 작을 것을 요구하지만, 이 조건은 심층 신경망 학습에서 빈번히 위반된다. 최근 연구는 단일 스칼라 출력을 갖는 과매개변수화 최소제곱 설정에서 이 간극을 해소하였으며, 고립된 플랫 미니마의 근방에서 큰 스텝 크기 GD에 대한 표준형(normal form)을 제시하고 이에 대응하는 세 가지 수렴 결과를 확립하였다. 본 논문에서는 이 이론을 두 방향으로 확장한다: (1) 벡터 값 출력을 갖는 과매개변수화 최소제곱(임의로 많은 관측값을 가진 회귀 포함)으로의 확장, 그리고 (2) 플랫 미니마의 다양체 근방으로의 확장(행렬 인수분해와 같은 응용에 필수적임을 보인다). 우리는 cite{macdonaldeos}의 표준형과 세 가지 수렴 정리 모두를 이 더 넓은 설정으로 일반화하며, 독립적인 관심을 가질 수 있는 새로운 방법을 통한 특이 편미분방정식의 풀이를 포함한 여러 기술적 난제를 극복한다. 나아가 우리의 프레임워크가 온화한 가정 하에 심층 행렬 인수분해에 적용됨을 보이고, 몇 가지 새로운 구조적 결과를 도출한다. 특히 플랫 미니마의 집합이 구면의 곱 위에서 파이버 번들을 형성하며, 날카로움이 이 다양체를 따라 Morse-Bott 조건을 만족함을 증명한다.

arXiv:2601.22652v2stat.ML

스펙트럴 경사하강법의 비등방성 유발 비정렬 완화: 위상 복원에 대한 사례 연구

Spectral Gradient Descent Mitigates Anisotropy-Driven Misalignment: A Case Study in Phase Retrieval

Muon 옵티마이저와 같은 스펙트럴 경사하강법(SpecGD)이 비등방성 데이터에서 경사하강법(GD)보다 우수한 성능을 보이는 이유를 비선형 위상 복원(phase retrieval) 모델의 동역학적 분석을 통해 이론적으로 규명한다. GD는 학습 초기 단계에서 정보가 없는 고분산 스파이크 방향이 증폭되어 신호 정렬이 저하되는 반면, SpecGD는 이 스파이크 증폭 효과를 제거하여 안정적인 정렬과 빠른 노이즈 수축을 달성함을 이론 및 수치 실험으로 검증한다.

arXiv:2607.04993v1cs.LG

흐름 뒤의 지도: 동역학 시스템으로서의 유한 스텝 경사하강법

The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System

고정 스텝 경사하강법을 이산 동역학 시스템으로 분석하여, 안정성 경계(edge-of-stability)가 최적화의 붕괴가 아니라 학습 사상(training map)의 첫 번째 분기(bifurcation)임을 정확히 풀 수 있는 모델 계층을 통해 규명한다. 유한 스텝 진동이 인수분해 불균형을 수축시키고 더 평탄하고 균형 잡힌 표현을 선택하게 하며, 학습률은 수치 안정성 매개변수가 아닌 학습 동역학의 구조적 매개변수임을 보인다.

arXiv:2603.05002v3cs.LG

비유클리드 경사하강법은 안정성의 경계에서 작동한다

Non-Euclidean Gradient Descent Operates at the Edge of Stability

방향적 평활성(Directional Smoothness) 개념을 활용해 안정성의 경계(Edge of Stability, EoS) 현상을 비유클리드 노름으로 일반화하여, ℓ∞-descent, Block CD, Spectral GD 등 기존에 EoS가 연구되지 않은 최적화 방법들에 대한 일반화된 첨예도(sharpness) 척도를 정의한다. MLP, CNN, Transformer 실험을 통해 이들 비유클리드 경사하강법에서도 점진적 첨예화 후 임계값 2/η 근방에서 진동하는 EoS 거동이 나타남을 실증하며, ICML 2026 구두 발표 논문으로 채택되었다.

arXiv:2602.00334v2cs.LG

신경망 학습을 위한 적응형 모멘텀과 비선형 감쇠

Adaptive Momentum and Nonlinear Damping for Neural Network Training

mSGD의 고정 모멘텀 계수 문제를 해결하기 위해, 각 파라미터의 운동 에너지를 기반으로 개별 모멘텀 계수를 동적으로 조절하는 iKFAD와 3차 감쇠(cubic damping)를 결합한 최적화 기법 두 가지를 제안한다. ViT, BERT, GPT2 학습에서 Adam과 동등하거나 더 나은 성능을 달성하며 지수적 수렴을 이론적으로 입증한다.

arXiv:2606.21683v1stat.ML

가우시안 설계 하 로지스틱 회귀에서 경사하강법의 유한 표본 성능

Finite-Sample Performance of Gradient Descent in Logistic Regression with Gaussian Design

가우시안 설계 하 로지스틱 회귀에서 최대 가능도(로지스틱 손실)에 대한 경사하강법(GD)의 유한 표본 추정 성능과 수렴을 분석하며, 작은 스텝 크기에서는 ℓ₂ 오차 O(√(‖θ*‖₂⁵d/n))로 선형 수렴하고 큰 스텝 크기에서는 더 빠른 국소 선형 수렴을 보인다. 또한 고차원에서 더 날카로운 rate에 도달하는 추정량을 제안해, 많은 영역에서 Θ(√(‖θ*‖₂d/n))가 tight한 추정 오차율임을 시사한다.

arXiv:2606.19878v1cs.LG

보간 기반 경사하강법의 오라클 복잡도에 대하여

On the Oracle Complexity of Interpolation-Based Gradient Descent

경험적 위험 최소화(ERM)를 위한 1차 최적화 알고리즘에 대한 최근 연구는 ERM 손실 함수의 매끄러움이 최적화 파라미터가 아닌 학습 데이터 영역에서 존재할 때, 이를 활용하여 경사하강법(GD) 방식의 오라클 복잡도를 개선할 수 있음을 시사합니다. 본 논문에서는 데이터 영역 내의 등거리 점에서 1차 오라클을 쿼리하여 데이터 영역의 적절한 크기 패치에 대한 결과 그래디언트 샘플의 다항식 보간식을 구축함으로써, 각 반복에서 전체 그래디언트를 근사하는 부정확한 그래디언트 방법인 구간별 다항식 보간 기반 경사하강법(PPI-GD)을 제안합니다. 데이터 공간 차원이 학습 샘플 수의 폴리로그 함수로 제한될 때, 강볼록 및 비볼록 손실 함수에 대한 PPI-GD의 오라클 복잡도를 분석하였으며, 손실 함수가 충분히 매끄러운 경우 주요 상황에서 여러 GD 변형 모델보다 성능이 우수함을 확인했습니다. 또한, 본 분석은 이중 삼차 스플라인 보간식의 오차 분석 기법을 $d$-변수 텐서 곱 다항식 보간식 설정으로 확장하며, 이는 보간 분석에서 별도의 가치가 있을 수 있습니다.

arXiv:2603.04895v2stat.ML

How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?

신경망을 포함한 과매개변수화된 ML 모델은 일반적으로 다중 전역 최솟값을 갖는 불확정 학습 목적함수를 유도합니다. 암묵적 바이어스(implicit bias)는 경사하강법(GD)과 같은 일반적인 최적화 알고리즘에 의해 달성되는 극한 전역 최솟값을 의미합니다. 본 논문에서는 고차원 랜덤 특징(random features)에 대한 제곱 손실(squared loss)을 사용하여 단층 ReLU 모델을 학습할 때 GD의 암묵적 바이어스를 규명합니다. 선행 연구(Vardi and Shamir, 2021)는 최악의 경우(worst-case) 암묵적 바이어스가 존재하지 않거나, 정확히 직교하는 데이터(orthogonal data) 하에서는 최소 $\ell_2$-노름 보간 해와 정확히 일치함을 보였습니다(Boursier et al., 2022). 우리의 연구는 이 두 가지 극단 사이를 보간하며, 충분히 고차원인 랜덤 데이터에 대해 암묵적 바이어스가 $Θ(\sqrt{n/||λ||_1})$ 차수의 격차를 가지고 높은 확률로 최소 $\ell_2$-노름 해를 근사함을 보여줍니다. 여기서 $n$은 학습 예제의 수이며, $λ$는 데이터 공분산 행렬의 스펙트럼을 나타냅니다. 우리의 결과는 예측값, 데이터 스팬 계수 및 그 상호작용의 진화를 면밀히 추적하는 새로운 프리멀-듀얼 분석(primal-dual analysis)을 통해 얻어졌으며, 랜덤 데이터에 대해 ReLU 활성화 패턴이 높은 확률로 빠르게 안정화됨을 보여줍니다.

arXiv:2602.14789v2cs.LG

GD와 SGD에서 비선형 동역학의 안정성: 이차 포텐셜을 넘어서

On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials

학습 과정에서 반복값의 동역학적 안정성은 최적화 알고리즘이 도달하는 최솟값을 결정하는 데 중요한 역할을 합니다. 예를 들어, 경사하강법(GD)의 안정적인 해는 평탄한 최솟값에 해당하며, 이는 유리한 특성과 연관되어 왔습니다. 기존 연구는 안정성을 판단하기 위해 주로 선형화에 의존해 왔으나, 선형화된 동역학이 전체적인 비선형 거동을 충실히 포착하는지는 여전히 불분명합니다. 최근 연구에 따르면 GD는 선형적으로 불안정한 최솟값 근처에서 안정적으로 진동할 수 있으며, 스텝 크기가 감소하면 수렴할 수도 있습니다. 이는 선형 분석이 오해를 일으킬 수 있음을 시사합니다. 본 연구에서는 비선형 항의 효과를 명시적으로 분석합니다. 구체적으로, 다변수 환경에서 최솟값 근처에서의 GD 안정 진동에 대한 정확한 기준을 도출합니다. 본 조건은 고계 도함수에 의존하며 기존 결과를 일반화합니다. 분석을 확률적 경사하강법(SGD)으로 확장하여, 단일 배치가 불안정한 경우에도 비선형 동역학이 기댓값에서 발산할 수 있음을 보여줍니다. 이는 선형 분석이 시사하는 평균적인 효과가 아니라, 불안정하게 진동하는 단일 배치에 의해 안정성이 결정될 수 있음을 의미합니다. 마지막으로, 모든 배치가 선형적으로 안정적이라면 SGD의 비선형 동역학이 기댓값에서 안정적임을 증명합니다.

arXiv:2509.14969v2cs.LG

하강 없는 확률적 적응형 경사하강법

Stochastic Adaptive Gradient Descent Without Descent

본 논문에서는 확률적 그래디언트를 사용하는 볼록 최적화를 위해, 1차 확률적 오라클만을 통해 목적 함수의 국소적 기하학적 구조를 활용하며 하이퍼파라미터 튜닝이 필요 없는 새로운 적응형 스텝 사이즈 전략을 소개합니다. 이 방법은 "하강 없는 적응형 경사하강법(Adaptive Gradient Descent Without Descent)" 방법론을 확률적 설정에 맞춰 이론에 기반하여 적응시킨 결과물입니다. 우리는 다양한 가정 하에 제안하는 스텝 사이즈를 적용한 확률적 경사하강법의 수렴성을 증명하였으며, 실제 실험을 통해 튜닝된 베이스라인 모델들과 대등한 성능을 보임을 확인했습니다.

arXiv:2606.18080v1cs.LG

Edge Flow: 안정성 경계에서 경사하강법을 위한 다루기 쉽고 예측 가능한 연속 시간 모델

Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability

심층 학습에서 경사하강법은 안정성 경계(EoS, edge of stability)에서 작동할 수 있으며, 이는 손실 헤시안의 최대 고유값이 안정성 임계값 $2/η$(여기서 $η$는 학습률) 근처를 머무는 영역이다. 그래디언트 흐름(gradient flow)과 하강 보조정리(descent lemma) 같은 고전적 분석 도구는 이 영역에 적용되지 않으므로, EoS에서 유효한 연속 시간 모델을 찾을 필요가 있다. 우리는 Edge Flow를 제안하는데, 이는 EoS에서 경사하강법 역학에 대한 다루기 쉽고, 충실하며, 예측 가능한 모델을 제공하는 세 개의 결합된 상미분방정식(ODE) 시스템이다. Edge Flow는 역학을 중심, 진동 방향, 진동 크기로 분해한다. 중심은 대칭화된 손실에 대한 수정된 그래디언트 흐름을 따르고, 방향은 Rayleigh 몫 역학을 통해 헤시안의 최고 고유벡터를 추적하며, 크기는 날카로움(sharpness)이 임계값 $2/η$를 초과하거나 미달하는지에 따라 지수적으로 증가하거나 감소한다. 중요한 것은, 날카로움 안정화가 결합된 역학을 통해 자기 안정화 피드백 루프로 나타난다는 점이다. Edge Flow를 이산화하는 데는 각 반복마다 그래디언트 평가 두 번과 헤시안-벡터 곱 한 번만 필요하다. 우리는 실험적으로 Edge Flow가 기존에 제안된 연속 시간 EoS 모델만큼 이상으로 경사하강법 역학을 충실히 추적하며, 추가로 EoS 시작 시 날카로움의 진동을 해석하고, 이 영역에서의 불안정성을 이해하고 완화하기 위한 원칙적 프레임워크를 제공함을 보인다.

arXiv:2606.07496v1cs.LG

강하게 볼록한 최적화를 위한 가속된 분산 확률적 경사하강법

Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization

분산 확률적 최적화(decentralized stochastic optimization)는 네트워크 상에서의 대규모 학습을 위한 기본 패러다임으로, 에이전트가 이웃과만 통신하며 중앙 코디네이터가 필요하지 않습니다. 강하게 볼록한 문제의 경우, 통신 효율성은 주로 조건수(condition number) \(κ=L/μ\)와 네트워크 스펙트럼 갭(spectral gap) \(1-β\)에 의해 결정됩니다. 결정론적 분산 방법은 가속된 \(\sqrtκ\) 및 \(1/\sqrt{1-β}\) 의존성을 동시에 달성할 수 있지만, 기존의 확률적 방법 중에는 두 가지 개선을 동시에 달성하는 것이 없습니다. 본 논문에서는 Nesterov형 프리멀-듀얼(primal-dual) 외삽과 다중 라운드 빠른 고시프(gossip) 평균화를 결합한 분산 확률적 알고리즘인 \emph{Multi-Gossip Accelerated DSGD} (MG-ADSGD)를 제안합니다. 핵심 아이디어는 고시프 깊이를 미니배치(mini-batch) 크기와 결합하여, 추가적인 통신 라운드가 합의(consensus) 정확도를 높이고 그래디언트(gradient) 분산을 줄이도록 하는 것입니다. 우리는 MG-ADSGD가 다음의 통신 복잡도 \[ \widetilde{\mathcal O}\!\left( \frac{σ^2}{μnε}\log\frac{1}ε + \sqrt{\fracκ{1-β}}\log\frac{1}ε \right), \] 를 달성함을 보여줍니다. 여기서 \(ε\)는 목표 정확도, \(n\)은 노드 수, \(σ^2\)는 그래디언트 분산을 나타냅니다. 우리의 아는 한, 이 바운드는 $ε$과 무관한 로그 인자를 제외하고, 분산 확률적 강하게 볼록한 최적화에 대해 현재 가능한 최고의 통신 복잡도를 제공합니다.

arXiv:2606.07495v1cs.LG

머신러닝에서의 2차 경로 커널 보간 공식

Second-Order Path Kernel Interpolation Formulas in Machine Learning

학습 데이터가 신경망 예측을 어떻게 형성하는지 이해하는 것은 현대 학습 이론의 핵심 문제입니다. 2020년 Pedro Domingos는 결정론적 경사하강법으로 학습된 모든 모델에 대해 유효한 보간 공식을 제안했습니다. 이 공식은 모델의 예측을 최적화 경로를 따른 데이터 종속 커널의 적분으로 표현하는데, 해당 커널은 테스트 데이터와 학습 데이터에서 모델의 그래디언트를 정렬시킵니다. 이러한 1차 특성화는 배치 기반 확률적 최적화로 학습된 모델에 대해서도 여전히 유효합니다. 본 논문에서는 이러한 보간 공식의 2차 형태를 개발합니다. 우리는 주요 경로 커널 보간이 곡률 가중치가 적용된 보간 항에 의해 보완됨을 보여줍니다. 확률적 경사하강법의 경우, 예측의 곡률을 미니배치 그래디언트 노이즈의 공분산과 결합하는 추가적인 샘플링 유발 성분이 나타납니다. 또한 우리는 모멘텀이 적용된 확률적 경사하강법으로 표현을 확장하며, 여기서는 보간 구조가 유지되되 가중치가 메모리 관련 인자에 의해 수정됩니다. 더 나아가, 우리는 최종 예측에 대한 집중 추정을 확립하여 기대되는 2차 표현 주변의 변동 스케일을 식별합니다. 종합적으로, 이러한 결과들은 신경망 예측에 대한 경로 커널 해석을 정교화합니다.

arXiv:2606.06722v1cs.LG

Flatland: 큰 스텝 크기를 사용하는 경사하강법의 모험

Flatland: The Adventures of Gradient Descent with Large Step Sizes

신경망 학습은 종종 전역적으로 $L$-smooth하지 않은 목적 함수를 수반합니다. 이러한 함수들에 대해서는, 경사하강법(GD)의 수렴을 보장하는 가능한 가장 큰 스텝 크기가 무엇인지에 대한 질문에 답하는 것이 이론적으로나 실제적으로나 어렵습니다. 우리는 그래디언트의 국소적 리프시츠(또는 심지어 홀더) 연속성만을 요구하는 "큰" 스텝 크기에 대한 통합 정의를 제공함으로써 심층 학습의 이 오랜 미해결 문제를 다룹니다. 우리는 큰 스텝 크기를 생성함을 입증할 수 있는 1차 적응형 방법을 설계하고, 이 방법들이 학습 시작부터 안정성의 경계(EoS)에서 작동함을 보여줍니다. 특히, 손실은 비단조적으로 감소하며, 스텝 크기와 날카로움(sharpness, 즉 헤시안의 최대 고유값)의 곱은 학습 내내 2의 EoS 임계값 위에 머뭅니다. 우리의 방법을 사용하여 날카로움을 전역 최솟값까지 최소화할 수도 있습니다. 기대와 달리, 우리는 학습 초기에 전역적으로 평평한 영역에 도달하는 것이 수렴을 늦추고 네트워크의 일반화 능력을 위협할 수 있음을 발견했습니다. 자기 안정화 논증을 활용하여, 우리는 GD가 약간 더 날카로운 계곡으로 들어가도록 허용함으로써 성공하지 못했던 학습 실행을 매우 성공적인 것으로 전환합니다.