가장 큰 헤시안(Hessian) 고유값 $λ_1$로 정의되는 국소 선명도(local sharpness)는 안정적인 최대 그래디언트(gradient) 업데이트 크기를 결정하지만, 이를 계산하려면 대개 란초스(Lanczos) 알고리즘이나 헤시안-벡터 곱(Hessian-vector product)을 실행해야 합니다. 그러나 본 연구에서는 백트래킹 인수에 의해 설정된 승수 대역(multiplicative band) 내에서 수용된 스텝 $α$가 탐색 방향을 따른 방향성 곡률을 결정하기 때문에, 단 한 번의 아르미호 백트래킹(Armijo backtracking) 선탐색만으로도 단 몇 번의 순전파(forward pass)를 통해 이 정보를 이미 포함하고 있음을 발견했습니다. CIFAR-10, Fashion-MNIST 및 Imagenette에서 $\logα$와 $\logλ_1$ 사이의 피어슨 상관관계는 $-0.91$에서 $-0.95$에 달하며, 실행별 추세를 제거한 후에도 상관관계는 $-0.60$에서 $-0.70$으로 유지됩니다. 이를 통해 느린 선명도 성분에 대한 저렴한 온라인 안정성 한계(Edge-of-Stability) 추정이 가능해집니다. 적용된 프로빙(probing) 메커니즘은 초기화 시점과 초기 50회 옵티마이저 스텝 동안 9회에 걸쳐 Adam의 첫 스텝 업데이트 방향을 따라 탐색합니다. 학습률 상한선은 관측된 가장 작은 스텝 크기의 2배로 설정되며, 연구된 학습률 범위($10^{-3}$ ~ $3.0$) 및 GPT-2 사전학습 실험에서 상한이 적용된 모든 실행은 발산을 회피합니다. 일반 아키텍처 분석에서는 하나의 MLP 아키텍처가 초기 배치(batch) 순서에 여전히 민감합니다. 이 프로빙 프로토콜은 약 1%의 오버헤드만 발생시키며, 비구속적 상한(non-binding cap)을 사용하므로 옵티마이저의 상태와 첫 번째 업데이트가 비트 단위로 동일(bit-identical)합니다. 프로토콜 파라미터를 특정 아키텍처에 맞추는 미세조정(fine-tuning)이 전혀 없으며, 이러한 관점에서 이는 보정이 필요 없는(calibration-free) 안전장치입니다. 이는 정확도를 달성하기 위함이 아니라 발산을 방지하기 위한 수단입니다. GPT-2 규모에서 수행된 여러 측정은 초기화 시점에만 상한을 두는 것이 왜 불충분한지도 보여줍니다. 즉, 초기 5회 옵티마이저 스텝에서 방향성 곡률이 크게 상승하며, 이는 짧은 유예 기간(probationary window)을 두는 근거가 됩니다.
풀배치(full-batch) Adam에서 나타나는 안정성의 한계(Edge of Stability, EoS) 현상은 널리 관찰되어 왔지만, 그 기저에 있는 동역학적 메커니즘은 여전히 명확히 이해되지 않았습니다. 본 논문에서는 Adam의 2차 모멘트 적응을 동역학을 안정성 경계로 이끄는 음의 피드백 메커니즘으로 규명합니다. 우리는 이러한 메커니즘을 사전조건화된 그래디언트 방향을 따른 사전조건화된 곡률인 *활성 곡률(active curvature)*을 통해 규정하며, 점진적으로 확장되는 설정에서 엄밀한 특성화를 확립합니다: 모멘텀이 포함된 랭크-1 2차 함수, 활성 곡률이 선명도(sharpness)와 분리되는 대각 2차 함수, 그리고 일반적인 목적 함수. 중요한 점은, 이 메커니즘이 한계 부근에서 풀배치 Adam의 *그래디언트 반전(gradient reversal)*을 예측한다는 것입니다. 즉, 완전 연결 신경망, ResNet, ViT, LSTM, GPT-2 medium, 그리고 Adam 계열 옵티마이저 전반에서 관찰되는 것처럼 연속된 그래디언트가 반복적으로 거의 반대 방향을 가리키게 됩니다. 이러한 양상과 일치하게, 반복값(iterates)을 평균화하면 이러한 빠른 진동이 억제되고 더 매끄럽고 낮은 손실 곡선이 생성됩니다. 종합적으로, 이러한 결과들은 활성 곡률과 그래디언트 반전을 통해 Adam의 EoS 동역학적 동작을 완전히 이해하기 위한 중요한 첫걸음을 제공합니다.
신경망 손실 경관의 복잡성 때문에 최적화 이론은 이상화된 모델에 의존할 수밖에 없으며, 일반적으로 모델이 이론적으로 다루기 얼마나 용이한지와 실제 최적화 역학을 얼마나 정확히 기술하는지 사이에는 트레이드오프가 존재한다. 본 연구에서는 최적화의 가장 단순한 모델인 이차 모델을 스트레스 테스트하고, 1.5억(150M)개의 파라미터와 30억(3B)개의 학습 토큰을 갖는 대규모 언어 모델(LLM) 설정에서 놀랄 만큼 예측력이 있음을 보인다. 구체적으로, 학습 과정의 중간 체크포인트에서 모델과 손실 함수를 Taylor 전개하면 학습의 최대 10%에 해당하는 구간 동안의 최적화 역학을 정확히 예측할 수 있음을 보인다. 이러한 일치를 확인한 뒤, 헤시안 스펙트럼과 국소 안정성이라는 두 관점을 통해 이러한 국소 이차 최적화 문제의 구조를 분석한다. 극히 깊은 프로브를 사용한 Lanczos 구적법을 통해 헤시안 스펙트럼의 꼬리 부분 깊숙이까지 추정할 수 있으며, 고유값과 고유벡터 모두에서 놀라운 양의 구조가 존재함을 발견하는데, 이는 배치 크기, 전처리기(preconditioner), 학습 시간에 따라 달라진다. 또한 중간 체크포인트에서 국소 선형 안정성을 실증적으로 검증하고 이론적 예측과 비교하여, LLM에서의 최적화는 일반적으로 확률적 안정성 경계(stochastic edge of stability)에서 일어나며, 그 성격 또한 배치 크기에 의해 결정됨을 보인다. 우리의 결과는 이차 모델이 사전학습 최적화 역학에 대한 이론적으로 다루기 용이한 대리(proxy)가 될 수 있음을 시사한다.
고정 스텝 경사하강법을 이산 동역학 시스템으로 분석하여, 안정성 경계(edge-of-stability)가 최적화의 붕괴가 아니라 학습 사상(training map)의 첫 번째 분기(bifurcation)임을 정확히 풀 수 있는 모델 계층을 통해 규명한다. 유한 스텝 진동이 인수분해 불균형을 수축시키고 더 평탄하고 균형 잡힌 표현을 선택하게 하며, 학습률은 수치 안정성 매개변수가 아닌 학습 동역학의 구조적 매개변수임을 보인다.
SGD의 확률적 동역학을 분석하여 임의로 큰 학습률에서도 다중 클래스 교차 엔트로피 손실에 대한 엄밀한 수렴 보장을 제공하며, 곡률 기반 진동이 지배하는 안정성의 경계(Edge of Stability) 레짐과 안정적 레짐 사이를 오가는 SGD가 확률적 Lyapunov 안정성 이론을 통해 스스로 자기 안정화(self-stabilization)함을 선형 분류기와 2층 신경망 모두에서 이론적으로 증명한다.
방향적 평활성(Directional Smoothness) 개념을 활용해 안정성의 경계(Edge of Stability, EoS) 현상을 비유클리드 노름으로 일반화하여, ℓ∞-descent, Block CD, Spectral GD 등 기존에 EoS가 연구되지 않은 최적화 방법들에 대한 일반화된 첨예도(sharpness) 척도를 정의한다. MLP, CNN, Transformer 실험을 통해 이들 비유클리드 경사하강법에서도 점진적 첨예화 후 임계값 2/η 근방에서 진동하는 EoS 거동이 나타남을 실증하며, ICML 2026 구두 발표 논문으로 채택되었다.
심층 학습에서 경사하강법은 안정성 경계(EoS, edge of stability)에서 작동할 수 있으며, 이는 손실 헤시안의 최대 고유값이 안정성 임계값 $2/η$(여기서 $η$는 학습률) 근처를 머무는 영역이다. 그래디언트 흐름(gradient flow)과 하강 보조정리(descent lemma) 같은 고전적 분석 도구는 이 영역에 적용되지 않으므로, EoS에서 유효한 연속 시간 모델을 찾을 필요가 있다. 우리는 Edge Flow를 제안하는데, 이는 EoS에서 경사하강법 역학에 대한 다루기 쉽고, 충실하며, 예측 가능한 모델을 제공하는 세 개의 결합된 상미분방정식(ODE) 시스템이다. Edge Flow는 역학을 중심, 진동 방향, 진동 크기로 분해한다. 중심은 대칭화된 손실에 대한 수정된 그래디언트 흐름을 따르고, 방향은 Rayleigh 몫 역학을 통해 헤시안의 최고 고유벡터를 추적하며, 크기는 날카로움(sharpness)이 임계값 $2/η$를 초과하거나 미달하는지에 따라 지수적으로 증가하거나 감소한다. 중요한 것은, 날카로움 안정화가 결합된 역학을 통해 자기 안정화 피드백 루프로 나타난다는 점이다. Edge Flow를 이산화하는 데는 각 반복마다 그래디언트 평가 두 번과 헤시안-벡터 곱 한 번만 필요하다. 우리는 실험적으로 Edge Flow가 기존에 제안된 연속 시간 EoS 모델만큼 이상으로 경사하강법 역학을 충실히 추적하며, 추가로 EoS 시작 시 날카로움의 진동을 해석하고, 이 영역에서의 불안정성을 이해하고 완화하기 위한 원칙적 프레임워크를 제공함을 보인다.
신경망 학습은 종종 전역적으로 $L$-smooth하지 않은 목적 함수를 수반합니다. 이러한 함수들에 대해서는, 경사하강법(GD)의 수렴을 보장하는 가능한 가장 큰 스텝 크기가 무엇인지에 대한 질문에 답하는 것이 이론적으로나 실제적으로나 어렵습니다. 우리는 그래디언트의 국소적 리프시츠(또는 심지어 홀더) 연속성만을 요구하는 "큰" 스텝 크기에 대한 통합 정의를 제공함으로써 심층 학습의 이 오랜 미해결 문제를 다룹니다. 우리는 큰 스텝 크기를 생성함을 입증할 수 있는 1차 적응형 방법을 설계하고, 이 방법들이 학습 시작부터 안정성의 경계(EoS)에서 작동함을 보여줍니다. 특히, 손실은 비단조적으로 감소하며, 스텝 크기와 날카로움(sharpness, 즉 헤시안의 최대 고유값)의 곱은 학습 내내 2의 EoS 임계값 위에 머뭅니다. 우리의 방법을 사용하여 날카로움을 전역 최솟값까지 최소화할 수도 있습니다. 기대와 달리, 우리는 학습 초기에 전역적으로 평평한 영역에 도달하는 것이 수렴을 늦추고 네트워크의 일반화 능력을 위협할 수 있음을 발견했습니다. 자기 안정화 논증을 활용하여, 우리는 GD가 약간 더 날카로운 계곡으로 들어가도록 허용함으로써 성공하지 못했던 학습 실행을 매우 성공적인 것으로 전환합니다.