Generalization remains a pivotal challenge in deep learning, where traditional optimizers like Stochastic Gradient Descent (SGD) often converge to sharp minima, leading to overfitting and reduced performance on unseen data. Building on Sharpness-Aware Minimization (SAM), for seeking flat minima associated with improved generalization, we propose the Extragradient-Inspired Sharpness-Aware Minimization (EISAM), a novel optimizer that enhances generalization via the extragradient technique. EISAM uses a two-step update process: a prediction step investigating the geometry of the loss landscape and a perturbation step that refines updates with a base optimizer. This approach achieves better generalization performance than SAM. Crucially, EISAM reduces sensitivity to the perturbation radius, enhancing robustness, and simplifying the tuning across diverse settings. Extensive experiments on benchmark datasets demonstrate that EISAM consistently outperforms SGD, Adaptive Moment Estimation (Adam), and SAM in test accuracy and training efficiency across various architectures. Theoretical analysis further confirms that EISAM tightens the generalization bound by steering parameters toward flatter minima with reduced curvature. Accompanied by a thorough hyperparameter analysis, EISAM offers practical tuning guidance, establishing it as a robust, scalable, and broadly applicable optimization solution that advances both the theory and practice in deep learning.
평탄도 가설은 손실 헤시안의 고유값으로 측정되는 손실 경관의 평탄도가 더 나은 신경망 일반화 성능과 상관관계가 있다고 제안한다. 다양한 알고리즘이 이러한 고유값을 줄이지만, 대부분은 절차적 설계에 초점을 맞추고 있어 데이터 분포와 신경망 파라미터가 평탄한 극소점을 향한 방향을 구조적으로 어떻게 결정하는지는 불명확한 상태이다. 이러한 방향을 해석적으로 특성화하는 것은 일반적으로 다루기 어렵다. 이 수학적 어려움을 극복하기 위해 최근 연구들은 3층 신경망에서 교차 엔트로피 손실 헤시안 최대 고유값에 대한 Wolkowicz-Styan (WS) 상한을 도출하였다. 이 상한은 미분 가능함에도 불구하고 그 그래디언트는 도출되지 않았다. 따라서 본 연구에서는 평탄한 극소점으로 이어지는 방향을 특성화하기 위해 WS 상한의 그래디언트를 해석적으로 도출한다. 이를 기반으로, WS 상한의 최급강하 방향을 따라 파라미터를 갱신하는 헤시안 스펙트럼 범위(Hessian Spectral Range, HSR) 정규화를 제안한다. 실험 결과, HSR 정규화는 헤시안 고유값 스펙트럼을 좁히고, 뾰족한 극소점과 안장점을 회피하며, 평탄한 극소점으로의 수렴을 촉진함을 입증한다. 이 방법의 적용 가능성이 현재 교차 엔트로피 손실 및 3층 아키텍처에 한정되어 있지만, 저자들이 아는 한 이는 수치 근사 없이 평탄한 극소점으로의 수렴을 촉진하는 폐쇄형 그래디언트를 보고한 최초의 연구이다. 따라서 이 그래디언트의 이론적 분석은 신경망의 추가적인 발전에 기여할 것으로 기대된다.
심층 학습(deep learning)에서 널리 받아들여지는 직관은 확률적 경사하강법(SGD)이 암묵적으로 평탄한 최솟값(flat minima)을 선호하며, 평탄한 최솟값이 더 잘 일반화된다는 것입니다. 그러나 손실(loss) 헤시안(hessian)의 트레이스(trace)나 최대 고유값과 같은 표준 유클리드 평탄성 척도는 네트워크 함수를 보존하는 재매개변화(reparametrization)에 대해 불변성(invariant)을 가지지 않으므로, 이러한 주장의 이론적 기초를 약화시킵니다. 본 연구에서는 피셔 정보 행렬(FIM)에 의해 유도된 통계적 다양체(statistical manifold)의 리만 기하학(Riemannian geometry)에 평탄성의 기반을 두어 이 문제를 해결합니다. 우리는 리만 샤프니스(Riemannian sharpness)를 수학적으로 정의하고, 이것이 매끄러운 함수 보존 재매개변화 하에서 불변임을 증명하며, 이는 "Sharp minima can generalize for deep nets"라는 논문에서 Dinh 등이 제기한 비판을 직접적으로 해결합니다. 우리는 이 불변성이 실제 FIM의 속성임을 참고로 둡니다. 실제로 사용되는(그리고 아래의 모든 실험에서 사용된) 대각선 경험적 추정기(diagonal empirical estimator)는 불변성을 근사적으로만 가지며, 임의의 재매개변화에 대한 정확한 불변성을 위해서는 K-FAC와 같은 구조화된 추정기가 필요합니다. 우리는 미니배치(mini-batch) SGD의 그래디언트(gradient) 노이즈를 FIM에 비례하는 공분산 구조를 갖는 것으로 형식화하고, 결과적으로 나타나는 확률 미분 방정식(stochastic differential equation)의 정상 분포(stationary distribution)를 도출한 후, 확률 질량이 리만 평탄 최솟값(Riemannian-flat minima)에서 지수적으로 집중됨을 보여줍니다. SR에 의해 명시적으로 제어되는 PAC-Bayes 일반화 바운드(generalization bound)는 이 기하학적 편향을 테스트 성능과 형식적으로 연결합니다. MNIST와 CIFAR-10에 대한 우리의 실험은 SR이 유클리드 샤프니스(Euclidean sharpness)와는 달리 일반화를 신뢰할 수 있게 추적하며, $η/B$에 따른 스케일링(scaling)이 이론적 예측과 일치함을 확인합니다. 이러한 결과들을 종합하면, 평탄한 최솟값이 왜 일반화되는지에 대한 엄밀하고 재매개변화 불변(reparametrization-invariant)인 설명을 제공합니다.
학습 과정에서 반복값의 동역학적 안정성은 최적화 알고리즘이 도달하는 최솟값을 결정하는 데 중요한 역할을 합니다. 예를 들어, 경사하강법(GD)의 안정적인 해는 평탄한 최솟값에 해당하며, 이는 유리한 특성과 연관되어 왔습니다. 기존 연구는 안정성을 판단하기 위해 주로 선형화에 의존해 왔으나, 선형화된 동역학이 전체적인 비선형 거동을 충실히 포착하는지는 여전히 불분명합니다. 최근 연구에 따르면 GD는 선형적으로 불안정한 최솟값 근처에서 안정적으로 진동할 수 있으며, 스텝 크기가 감소하면 수렴할 수도 있습니다. 이는 선형 분석이 오해를 일으킬 수 있음을 시사합니다. 본 연구에서는 비선형 항의 효과를 명시적으로 분석합니다. 구체적으로, 다변수 환경에서 최솟값 근처에서의 GD 안정 진동에 대한 정확한 기준을 도출합니다. 본 조건은 고계 도함수에 의존하며 기존 결과를 일반화합니다. 분석을 확률적 경사하강법(SGD)으로 확장하여, 단일 배치가 불안정한 경우에도 비선형 동역학이 기댓값에서 발산할 수 있음을 보여줍니다. 이는 선형 분석이 시사하는 평균적인 효과가 아니라, 불안정하게 진동하는 단일 배치에 의해 안정성이 결정될 수 있음을 의미합니다. 마지막으로, 모든 배치가 선형적으로 안정적이라면 SGD의 비선형 동역학이 기댓값에서 안정적임을 증명합니다.
확률적 경사하강법(SGD)은 심층 학습의 핵심이지만, 더 평탄하고 일반화 가능한 해를 선호하는 역학적 기원은 여전히 불분명합니다. 여기서, SGD 학습 역학을 분석하여 학습 중 해 선택을 지배하는 비평형 메커니즘을 식별합니다. 수치 실험은 SGD 궤적이 최종 분지에 국한되기 전에 날카로운 계곡에서 반복적으로 탈출하여 손실 지형의 더 평탄한 영역으로 이동하는 일시적 탐험 단계를 보여줍니다. 해석 가능한 물리 모델을 사용하여, SGD 노이즈가 손실 지형을 평탄한 해를 우선적으로 안정화하는 유효 퍼텐셜로 재형성함을 보여줍니다. 우리는 또한 일시적 동결 메커니즘을 규명했습니다: 학습이 진행됨에 따라 평탄해지는 지형이 경쟁하는 계곡 사이의 전이를 억제합니다. 더 강한 SGD 노이즈는 이 동결 전이를 지연시켜 탐험 단계를 연장하고, 그로 인해 더 평탄한 최소점으로 수렴할 확률을 높입니다. 종합하면, 이러한 결과는 학습 역학, 손실 지형 기하학, 일반화를 연결하는 통합된 물리적 프레임워크를 제공하고, 더 효과적인 최적화 알고리즘 설계를 위한 지침 원칙을 제시합니다.