Flatland: 큰 스텝 크기를 사용하는 경사하강법의 모험
Flatland: The Adventures of Gradient Descent with Large Step Sizes
한국어 초록
신경망 학습은 종종 전역적으로 $L$-smooth하지 않은 목적 함수를 수반합니다. 이러한 함수들에 대해서는, 경사하강법(GD)의 수렴을 보장하는 가능한 가장 큰 스텝 크기가 무엇인지에 대한 질문에 답하는 것이 이론적으로나 실제적으로나 어렵습니다. 우리는 그래디언트의 국소적 리프시츠(또는 심지어 홀더) 연속성만을 요구하는 "큰" 스텝 크기에 대한 통합 정의를 제공함으로써 심층 학습의 이 오랜 미해결 문제를 다룹니다. 우리는 큰 스텝 크기를 생성함을 입증할 수 있는 1차 적응형 방법을 설계하고, 이 방법들이 학습 시작부터 안정성의 경계(EoS)에서 작동함을 보여줍니다. 특히, 손실은 비단조적으로 감소하며, 스텝 크기와 날카로움(sharpness, 즉 헤시안의 최대 고유값)의 곱은 학습 내내 2의 EoS 임계값 위에 머뭅니다. 우리의 방법을 사용하여 날카로움을 전역 최솟값까지 최소화할 수도 있습니다. 기대와 달리, 우리는 학습 초기에 전역적으로 평평한 영역에 도달하는 것이 수렴을 늦추고 네트워크의 일반화 능력을 위협할 수 있음을 발견했습니다. 자기 안정화 논증을 활용하여, 우리는 GD가 약간 더 날카로운 계곡으로 들어가도록 허용함으로써 성공하지 못했던 학습 실행을 매우 성공적인 것으로 전환합니다.
원문 초록
The training of neural networks often entails objective functions that are not globally $L$-smooth. For these functions, it is both theoretically and practically difficult to reply to the question: what is the largest possible step size that ensures the convergence of gradient descent (GD)? We address this longstanding open question in deep learning by providing a unifying definition of "large" step sizes that requires only local Lipschitz (or even Hölder) continuity of the gradient. We design first-order adaptive methods that provably yield large step sizes and show that they operate at the edge of stability (EoS) right from the start of the training. In particular, the loss decreases nonmonotonically and the product between the step size and sharpness, i.e., the largest eigenvalue of the Hessian, stays above the EoS threshold of 2 throughout training. Using our method, we are also able to minimize the sharpness all the way down to its global minimum. Contrary to expectation, we find that encountering globally-flat regions too early in the training may both slow down convergence and jeopardize the generalization ability of the network. Exploiting a self-stabilization argument, we allow GD to enter slightly sharper valleys and turn unsuccessful training runs into very successful ones.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06722v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
흐름 뒤의 지도: 동역학 시스템으로서의 유한 스텝 경사하강법
The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System
심층 학습의 많은 현상은 동역학적 성질을 지닌다. 즉, 어떤 최솟값이 존재하는가뿐만 아니라, 경사하강법이 그 최솟값에 어떻게 도달하고, 어떤 것을 회피하거나 선택하는가에 관한 문제다. 안정성 경계(edge-of-stability) 거동, 날카로움(sharpness) 진동, 투석기(catapult) 위상, 균형 맞춤(balancing), 그리고 더 평탄한 표현을 향한 이동은 모두 학습 사상(training map) 자체의 효과이며, 소스텝 경사 흐름(gradient-flow) 극한으로는 제대로 포착되지 않는다. 본 논문은 고정 스텝 경사하강법을 심층 학습의 기본 구조—깊이, 인수분해, 너비, 데이터 결합, 활성화, 확률성—를 유지하는 정확히 풀 수 있는 모델의 계층 안에서 이산 동역학 시스템으로 연구한다. 출발점은 깊은 선형 체인의 균형 잡힌 스칼라 축소로, 사차(quartic) 손실과 안정성 경계 이후 거동이 명시적인 삼차(cubic) 그래디언트 사상을 제공한다. 자연스러운 대심도(large-depth) 스케일링 하에서 이 동역학은 보편적인 Ricker형 사상으로 수렴한다. 따라서 안정성 경계는 최적화의 붕괴가 아니라 학습 사상의 첫 번째 분기(bifurcation)다. 스칼라 동역학을 인수분해 모델에 다시 임베딩하면 이러한 체제들이 학습 현상으로 전환된다. 유한 스텝은 경사 흐름의 보존 법칙을 깨고 인수분해 불균형을 수축시키며, 잔여 진동은 매개변수를 더 평탄하고 균형 잡힌 표현 쪽으로 이동시킨다. 더 넓은 선형 네트워크는 스펙트럼 경계의 사다리를 생성하므로, 최적 학습률은 첫 번째 경계를 넘어서는 값일 수 있다. 데이터 결합, 비선형 활성화, 확률적 목표는 동일한 조직 원리를 보존한다. 즉, 유한 스텝 진동이 정렬, 균형 맞춤, 표현 선택을 이끈다. 따라서 학습률은 단순한 수치 안정성 매개변수가 아니다. 그것은 학습 동역학의 구조적 매개변수로서, 어트랙터를 결정하고 경사하강법이 선택하는 표현을 형성한다.
Edge Flow: 안정성 경계에서 경사하강법을 위한 다루기 쉽고 예측 가능한 연속 시간 모델
Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability
심층 학습에서 경사하강법은 안정성 경계(EoS, edge of stability)에서 작동할 수 있으며, 이는 손실 헤시안의 최대 고유값이 안정성 임계값 $2/η$(여기서 $η$는 학습률) 근처를 머무는 영역이다. 그래디언트 흐름(gradient flow)과 하강 보조정리(descent lemma) 같은 고전적 분석 도구는 이 영역에 적용되지 않으므로, EoS에서 유효한 연속 시간 모델을 찾을 필요가 있다. 우리는 Edge Flow를 제안하는데, 이는 EoS에서 경사하강법 역학에 대한 다루기 쉽고, 충실하며, 예측 가능한 모델을 제공하는 세 개의 결합된 상미분방정식(ODE) 시스템이다. Edge Flow는 역학을 중심, 진동 방향, 진동 크기로 분해한다. 중심은 대칭화된 손실에 대한 수정된 그래디언트 흐름을 따르고, 방향은 Rayleigh 몫 역학을 통해 헤시안의 최고 고유벡터를 추적하며, 크기는 날카로움(sharpness)이 임계값 $2/η$를 초과하거나 미달하는지에 따라 지수적으로 증가하거나 감소한다. 중요한 것은, 날카로움 안정화가 결합된 역학을 통해 자기 안정화 피드백 루프로 나타난다는 점이다. Edge Flow를 이산화하는 데는 각 반복마다 그래디언트 평가 두 번과 헤시안-벡터 곱 한 번만 필요하다. 우리는 실험적으로 Edge Flow가 기존에 제안된 연속 시간 EoS 모델만큼 이상으로 경사하강법 역학을 충실히 추적하며, 추가로 EoS 시작 시 날카로움의 진동을 해석하고, 이 영역에서의 불안정성을 이해하고 완화하기 위한 원칙적 프레임워크를 제공함을 보인다.
아르미호 백트래킹을 통한 방향성 곡률: 저비용 선명도 프로브 및 Adam을 위한 보정 불필요 학습률 안전장치
Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam
가장 큰 헤시안(Hessian) 고유값 $λ_1$로 정의되는 국소 선명도(local sharpness)는 안정적인 최대 그래디언트(gradient) 업데이트 크기를 결정하지만, 이를 계산하려면 대개 란초스(Lanczos) 알고리즘이나 헤시안-벡터 곱(Hessian-vector product)을 실행해야 합니다. 그러나 본 연구에서는 백트래킹 인수에 의해 설정된 승수 대역(multiplicative band) 내에서 수용된 스텝 $α$가 탐색 방향을 따른 방향성 곡률을 결정하기 때문에, 단 한 번의 아르미호 백트래킹(Armijo backtracking) 선탐색만으로도 단 몇 번의 순전파(forward pass)를 통해 이 정보를 이미 포함하고 있음을 발견했습니다. CIFAR-10, Fashion-MNIST 및 Imagenette에서 $\logα$와 $\logλ_1$ 사이의 피어슨 상관관계는 $-0.91$에서 $-0.95$에 달하며, 실행별 추세를 제거한 후에도 상관관계는 $-0.60$에서 $-0.70$으로 유지됩니다. 이를 통해 느린 선명도 성분에 대한 저렴한 온라인 안정성 한계(Edge-of-Stability) 추정이 가능해집니다. 적용된 프로빙(probing) 메커니즘은 초기화 시점과 초기 50회 옵티마이저 스텝 동안 9회에 걸쳐 Adam의 첫 스텝 업데이트 방향을 따라 탐색합니다. 학습률 상한선은 관측된 가장 작은 스텝 크기의 2배로 설정되며, 연구된 학습률 범위($10^{-3}$ ~ $3.0$) 및 GPT-2 사전학습 실험에서 상한이 적용된 모든 실행은 발산을 회피합니다. 일반 아키텍처 분석에서는 하나의 MLP 아키텍처가 초기 배치(batch) 순서에 여전히 민감합니다. 이 프로빙 프로토콜은 약 1%의 오버헤드만 발생시키며, 비구속적 상한(non-binding cap)을 사용하므로 옵티마이저의 상태와 첫 번째 업데이트가 비트 단위로 동일(bit-identical)합니다. 프로토콜 파라미터를 특정 아키텍처에 맞추는 미세조정(fine-tuning)이 전혀 없으며, 이러한 관점에서 이는 보정이 필요 없는(calibration-free) 안전장치입니다. 이는 정확도를 달성하기 위함이 아니라 발산을 방지하기 위한 수단입니다. GPT-2 규모에서 수행된 여러 측정은 초기화 시점에만 상한을 두는 것이 왜 불충분한지도 보여줍니다. 즉, 초기 5회 옵티마이저 스텝에서 방향성 곡률이 크게 상승하며, 이는 짧은 유예 기간(probationary window)을 두는 근거가 됩니다.
경사하강법의 마지막 반복점은 종종 (약간) 차선책이다
Gradient Descent's Last Iterate is Often (slightly) Suboptimal
본 논문에서는 경사하강법(GD) 또는 그 확률적 변형인 확률적 경사하강법(SGD)을 사용하여 볼록 립시츠(convex Lipschitz) 함수를 최소화하는 널리 연구된 설정을 고려하고, 마지막 반복점 수렴(last iterate convergence)을 살펴봅니다. 현재까지 표준적인 보폭(stepsize) 선택을 사용할 경우 $T$단계 후 $\log T/\sqrt{T}$의 마지막 반복점 수렴 속도를 보이는 것으로 알려져 있습니다. Jain 등[2019]의 획기적인 연구에서는 비표준 보폭 시퀀스를 구성하여 최적의 $1/\sqrt{T}$ 속도를 회복했습니다. 그러나 이 시퀀스는 임의의 시간 지평(time horizon)에 적용 가능한 일반적인 보폭 스케줄과 달리 $T$를 사전에 선택해야 합니다. 또한 Jain 등은 $T$에 대한 사전 지식 없이는 어떤 보폭 시퀀스도 SGD의 마지막 반복점에 대해 최적의 오차를 보장할 수 없다고 추측했으나, 이는 지금까지 증명되지 않은 상태로 남아 있었습니다. 본 연구에서는 이 추측을 증명하며, 실제로 노이즈가 없는 GD의 경우에도 임의 시점(anytime) 마지막 반복점 보장을 고려할 때 $T$에 대한 추가적인 폴리로그(poly-log) 인수를 피하는 것이 불가능함을 보입니다.
안정성의 한계(Edge of Stability)에 선 Adam: 적응형 피드백, 증명 가능한 진동, 그리고 그래디언트 반전
Adam at the Edge of Stability: Adaptive Feedback, Provable Oscillation, and Gradient Reversal
풀배치(full-batch) Adam에서 나타나는 안정성의 한계(Edge of Stability, EoS) 현상은 널리 관찰되어 왔지만, 그 기저에 있는 동역학적 메커니즘은 여전히 명확히 이해되지 않았습니다. 본 논문에서는 Adam의 2차 모멘트 적응을 동역학을 안정성 경계로 이끄는 음의 피드백 메커니즘으로 규명합니다. 우리는 이러한 메커니즘을 사전조건화된 그래디언트 방향을 따른 사전조건화된 곡률인 *활성 곡률(active curvature)*을 통해 규정하며, 점진적으로 확장되는 설정에서 엄밀한 특성화를 확립합니다: 모멘텀이 포함된 랭크-1 2차 함수, 활성 곡률이 선명도(sharpness)와 분리되는 대각 2차 함수, 그리고 일반적인 목적 함수. 중요한 점은, 이 메커니즘이 한계 부근에서 풀배치 Adam의 *그래디언트 반전(gradient reversal)*을 예측한다는 것입니다. 즉, 완전 연결 신경망, ResNet, ViT, LSTM, GPT-2 medium, 그리고 Adam 계열 옵티마이저 전반에서 관찰되는 것처럼 연속된 그래디언트가 반복적으로 거의 반대 방향을 가리키게 됩니다. 이러한 양상과 일치하게, 반복값(iterates)을 평균화하면 이러한 빠른 진동이 억제되고 더 매끄럽고 낮은 손실 곡선이 생성됩니다. 종합적으로, 이러한 결과들은 활성 곡률과 그래디언트 반전을 통해 Adam의 EoS 동역학적 동작을 완전히 이해하기 위한 중요한 첫걸음을 제공합니다.
하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.