arXiv:2606.18080v1 cs.LG

Edge Flow: 안정성 경계에서 경사하강법을 위한 다루기 쉽고 예측 가능한 연속 시간 모델

Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability

Pierre Marion

제출 2026-06-16

한국어 초록

심층 학습에서 경사하강법은 안정성 경계(EoS, edge of stability)에서 작동할 수 있으며, 이는 손실 헤시안의 최대 고유값이 안정성 임계값 $2/η$(여기서 $η$는 학습률) 근처를 머무는 영역이다. 그래디언트 흐름(gradient flow)과 하강 보조정리(descent lemma) 같은 고전적 분석 도구는 이 영역에 적용되지 않으므로, EoS에서 유효한 연속 시간 모델을 찾을 필요가 있다. 우리는 Edge Flow를 제안하는데, 이는 EoS에서 경사하강법 역학에 대한 다루기 쉽고, 충실하며, 예측 가능한 모델을 제공하는 세 개의 결합된 상미분방정식(ODE) 시스템이다. Edge Flow는 역학을 중심, 진동 방향, 진동 크기로 분해한다. 중심은 대칭화된 손실에 대한 수정된 그래디언트 흐름을 따르고, 방향은 Rayleigh 몫 역학을 통해 헤시안의 최고 고유벡터를 추적하며, 크기는 날카로움(sharpness)이 임계값 $2/η$를 초과하거나 미달하는지에 따라 지수적으로 증가하거나 감소한다. 중요한 것은, 날카로움 안정화가 결합된 역학을 통해 자기 안정화 피드백 루프로 나타난다는 점이다. Edge Flow를 이산화하는 데는 각 반복마다 그래디언트 평가 두 번과 헤시안-벡터 곱 한 번만 필요하다. 우리는 실험적으로 Edge Flow가 기존에 제안된 연속 시간 EoS 모델만큼 이상으로 경사하강법 역학을 충실히 추적하며, 추가로 EoS 시작 시 날카로움의 진동을 해석하고, 이 영역에서의 불안정성을 이해하고 완화하기 위한 원칙적 프레임워크를 제공함을 보인다.

원문 초록

Gradient descent in deep learning may operate at the edge of stability (EoS), a regime in which the largest eigenvalue of the loss Hessian hovers near the stability threshold $2/η$, where $η$ is the learning rate. Classical analysis tools such as gradient flow and the descent lemma do not apply here, motivating the search for a continuous-time model valid at EoS. We propose Edge Flow, a system of three coupled ordinary differential equations that provides a tractable, faithful, and predictive model of gradient descent dynamics at EoS. Edge Flow decomposes the dynamics into a center, an oscillation direction, and an oscillation magnitude. The center follows a modified gradient flow on a symmetrized loss; the direction tracks a top eigenvector of the Hessian via Rayleigh quotient dynamics; and the magnitude grows or decays exponentially depending on whether the sharpness exceeds or falls below the threshold $2/η$. Crucially, sharpness stabilization emerges from the coupled dynamics via a self-stabilization feedback loop. Discretizing Edge Flow only requires two gradient evaluations and one Hessian--vector product at each iteration. We demonstrate empirically that Edge Flow tracks the dynamics of gradient descent at least as faithfully as previously proposed continuous-time EoS models, while in addition resolving the oscillation of the sharpness at the onset of EoS, and that it provides a principled framework for understanding and mitigating instabilities in this regime.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18080v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04993v1cs.LG공통 태그 Stochastic Optimization, edge of stability, gradient descent

흐름 뒤의 지도: 동역학 시스템으로서의 유한 스텝 경사하강법

The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System

심층 학습의 많은 현상은 동역학적 성질을 지닌다. 즉, 어떤 최솟값이 존재하는가뿐만 아니라, 경사하강법이 그 최솟값에 어떻게 도달하고, 어떤 것을 회피하거나 선택하는가에 관한 문제다. 안정성 경계(edge-of-stability) 거동, 날카로움(sharpness) 진동, 투석기(catapult) 위상, 균형 맞춤(balancing), 그리고 더 평탄한 표현을 향한 이동은 모두 학습 사상(training map) 자체의 효과이며, 소스텝 경사 흐름(gradient-flow) 극한으로는 제대로 포착되지 않는다. 본 논문은 고정 스텝 경사하강법을 심층 학습의 기본 구조—깊이, 인수분해, 너비, 데이터 결합, 활성화, 확률성—를 유지하는 정확히 풀 수 있는 모델의 계층 안에서 이산 동역학 시스템으로 연구한다. 출발점은 깊은 선형 체인의 균형 잡힌 스칼라 축소로, 사차(quartic) 손실과 안정성 경계 이후 거동이 명시적인 삼차(cubic) 그래디언트 사상을 제공한다. 자연스러운 대심도(large-depth) 스케일링 하에서 이 동역학은 보편적인 Ricker형 사상으로 수렴한다. 따라서 안정성 경계는 최적화의 붕괴가 아니라 학습 사상의 첫 번째 분기(bifurcation)다. 스칼라 동역학을 인수분해 모델에 다시 임베딩하면 이러한 체제들이 학습 현상으로 전환된다. 유한 스텝은 경사 흐름의 보존 법칙을 깨고 인수분해 불균형을 수축시키며, 잔여 진동은 매개변수를 더 평탄하고 균형 잡힌 표현 쪽으로 이동시킨다. 더 넓은 선형 네트워크는 스펙트럼 경계의 사다리를 생성하므로, 최적 학습률은 첫 번째 경계를 넘어서는 값일 수 있다. 데이터 결합, 비선형 활성화, 확률적 목표는 동일한 조직 원리를 보존한다. 즉, 유한 스텝 진동이 정렬, 균형 맞춤, 표현 선택을 이끈다. 따라서 학습률은 단순한 수치 안정성 매개변수가 아니다. 그것은 학습 동역학의 구조적 매개변수로서, 어트랙터를 결정하고 경사하강법이 선택하는 표현을 형성한다.

arXiv:2606.06722v1cs.LG공통 태그 Stochastic Optimization, edge of stability, gradient descent

Flatland: 큰 스텝 크기를 사용하는 경사하강법의 모험

Flatland: The Adventures of Gradient Descent with Large Step Sizes

신경망 학습은 종종 전역적으로 $L$-smooth하지 않은 목적 함수를 수반합니다. 이러한 함수들에 대해서는, 경사하강법(GD)의 수렴을 보장하는 가능한 가장 큰 스텝 크기가 무엇인지에 대한 질문에 답하는 것이 이론적으로나 실제적으로나 어렵습니다. 우리는 그래디언트의 국소적 리프시츠(또는 심지어 홀더) 연속성만을 요구하는 "큰" 스텝 크기에 대한 통합 정의를 제공함으로써 심층 학습의 이 오랜 미해결 문제를 다룹니다. 우리는 큰 스텝 크기를 생성함을 입증할 수 있는 1차 적응형 방법을 설계하고, 이 방법들이 학습 시작부터 안정성의 경계(EoS)에서 작동함을 보여줍니다. 특히, 손실은 비단조적으로 감소하며, 스텝 크기와 날카로움(sharpness, 즉 헤시안의 최대 고유값)의 곱은 학습 내내 2의 EoS 임계값 위에 머뭅니다. 우리의 방법을 사용하여 날카로움을 전역 최솟값까지 최소화할 수도 있습니다. 기대와 달리, 우리는 학습 초기에 전역적으로 평평한 영역에 도달하는 것이 수렴을 늦추고 네트워크의 일반화 능력을 위협할 수 있음을 발견했습니다. 자기 안정화 논증을 활용하여, 우리는 GD가 약간 더 날카로운 계곡으로 들어가도록 허용함으로써 성공하지 못했던 학습 실행을 매우 성공적인 것으로 전환합니다.

arXiv:2607.03998v5cs.LG공통 태그 Stochastic Optimization, edge of stability

아르미호 백트래킹을 통한 방향성 곡률: 저비용 선명도 프로브 및 Adam을 위한 보정 불필요 학습률 안전장치

Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam

가장 큰 헤시안(Hessian) 고유값 $λ_1$로 정의되는 국소 선명도(local sharpness)는 안정적인 최대 그래디언트(gradient) 업데이트 크기를 결정하지만, 이를 계산하려면 대개 란초스(Lanczos) 알고리즘이나 헤시안-벡터 곱(Hessian-vector product)을 실행해야 합니다. 그러나 본 연구에서는 백트래킹 인수에 의해 설정된 승수 대역(multiplicative band) 내에서 수용된 스텝 $α$가 탐색 방향을 따른 방향성 곡률을 결정하기 때문에, 단 한 번의 아르미호 백트래킹(Armijo backtracking) 선탐색만으로도 단 몇 번의 순전파(forward pass)를 통해 이 정보를 이미 포함하고 있음을 발견했습니다. CIFAR-10, Fashion-MNIST 및 Imagenette에서 $\logα$와 $\logλ_1$ 사이의 피어슨 상관관계는 $-0.91$에서 $-0.95$에 달하며, 실행별 추세를 제거한 후에도 상관관계는 $-0.60$에서 $-0.70$으로 유지됩니다. 이를 통해 느린 선명도 성분에 대한 저렴한 온라인 안정성 한계(Edge-of-Stability) 추정이 가능해집니다. 적용된 프로빙(probing) 메커니즘은 초기화 시점과 초기 50회 옵티마이저 스텝 동안 9회에 걸쳐 Adam의 첫 스텝 업데이트 방향을 따라 탐색합니다. 학습률 상한선은 관측된 가장 작은 스텝 크기의 2배로 설정되며, 연구된 학습률 범위($10^{-3}$ ~ $3.0$) 및 GPT-2 사전학습 실험에서 상한이 적용된 모든 실행은 발산을 회피합니다. 일반 아키텍처 분석에서는 하나의 MLP 아키텍처가 초기 배치(batch) 순서에 여전히 민감합니다. 이 프로빙 프로토콜은 약 1%의 오버헤드만 발생시키며, 비구속적 상한(non-binding cap)을 사용하므로 옵티마이저의 상태와 첫 번째 업데이트가 비트 단위로 동일(bit-identical)합니다. 프로토콜 파라미터를 특정 아키텍처에 맞추는 미세조정(fine-tuning)이 전혀 없으며, 이러한 관점에서 이는 보정이 필요 없는(calibration-free) 안전장치입니다. 이는 정확도를 달성하기 위함이 아니라 발산을 방지하기 위한 수단입니다. GPT-2 규모에서 수행된 여러 측정은 초기화 시점에만 상한을 두는 것이 왜 불충분한지도 보여줍니다. 즉, 초기 5회 옵티마이저 스텝에서 방향성 곡률이 크게 상승하며, 이는 짧은 유예 기간(probationary window)을 두는 근거가 됩니다.

arXiv:2604.13870v2math.OC공통 태그 Stochastic Optimization, gradient descent

경사하강법의 마지막 반복점은 종종 (약간) 차선책이다

Gradient Descent's Last Iterate is Often (slightly) Suboptimal

본 논문에서는 경사하강법(GD) 또는 그 확률적 변형인 확률적 경사하강법(SGD)을 사용하여 볼록 립시츠(convex Lipschitz) 함수를 최소화하는 널리 연구된 설정을 고려하고, 마지막 반복점 수렴(last iterate convergence)을 살펴봅니다. 현재까지 표준적인 보폭(stepsize) 선택을 사용할 경우 $T$단계 후 $\log T/\sqrt{T}$의 마지막 반복점 수렴 속도를 보이는 것으로 알려져 있습니다. Jain 등[2019]의 획기적인 연구에서는 비표준 보폭 시퀀스를 구성하여 최적의 $1/\sqrt{T}$ 속도를 회복했습니다. 그러나 이 시퀀스는 임의의 시간 지평(time horizon)에 적용 가능한 일반적인 보폭 스케줄과 달리 $T$를 사전에 선택해야 합니다. 또한 Jain 등은 $T$에 대한 사전 지식 없이는 어떤 보폭 시퀀스도 SGD의 마지막 반복점에 대해 최적의 오차를 보장할 수 없다고 추측했으나, 이는 지금까지 증명되지 않은 상태로 남아 있었습니다. 본 연구에서는 이 추측을 증명하며, 실제로 노이즈가 없는 GD의 경우에도 임의 시점(anytime) 마지막 반복점 보장을 고려할 때 $T$에 대한 추가적인 폴리로그(poly-log) 인수를 피하는 것이 불가능함을 보입니다.

arXiv:2608.20638v2cs.LG공통 태그 Stochastic Optimization, edge of stability

안정성의 한계(Edge of Stability)에 선 Adam: 적응형 피드백, 증명 가능한 진동, 그리고 그래디언트 반전

Adam at the Edge of Stability: Adaptive Feedback, Provable Oscillation, and Gradient Reversal

풀배치(full-batch) Adam에서 나타나는 안정성의 한계(Edge of Stability, EoS) 현상은 널리 관찰되어 왔지만, 그 기저에 있는 동역학적 메커니즘은 여전히 명확히 이해되지 않았습니다. 본 논문에서는 Adam의 2차 모멘트 적응을 동역학을 안정성 경계로 이끄는 음의 피드백 메커니즘으로 규명합니다. 우리는 이러한 메커니즘을 사전조건화된 그래디언트 방향을 따른 사전조건화된 곡률인 *활성 곡률(active curvature)*을 통해 규정하며, 점진적으로 확장되는 설정에서 엄밀한 특성화를 확립합니다: 모멘텀이 포함된 랭크-1 2차 함수, 활성 곡률이 선명도(sharpness)와 분리되는 대각 2차 함수, 그리고 일반적인 목적 함수. 중요한 점은, 이 메커니즘이 한계 부근에서 풀배치 Adam의 *그래디언트 반전(gradient reversal)*을 예측한다는 것입니다. 즉, 완전 연결 신경망, ResNet, ViT, LSTM, GPT-2 medium, 그리고 Adam 계열 옵티마이저 전반에서 관찰되는 것처럼 연속된 그래디언트가 반복적으로 거의 반대 방향을 가리키게 됩니다. 이러한 양상과 일치하게, 반복값(iterates)을 평균화하면 이러한 빠른 진동이 억제되고 더 매끄럽고 낮은 손실 곡선이 생성됩니다. 종합적으로, 이러한 결과들은 활성 곡률과 그래디언트 반전을 통해 Adam의 EoS 동역학적 동작을 완전히 이해하기 위한 중요한 첫걸음을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.