가장 큰 헤시안(Hessian) 고유값 $λ_1$로 정의되는 국소 선명도(local sharpness)는 안정적인 최대 그래디언트(gradient) 업데이트 크기를 결정하지만, 이를 계산하려면 대개 란초스(Lanczos) 알고리즘이나 헤시안-벡터 곱(Hessian-vector product)을 실행해야 합니다. 그러나 본 연구에서는 백트래킹 인수에 의해 설정된 승수 대역(multiplicative band) 내에서 수용된 스텝 $α$가 탐색 방향을 따른 방향성 곡률을 결정하기 때문에, 단 한 번의 아르미호 백트래킹(Armijo backtracking) 선탐색만으로도 단 몇 번의 순전파(forward pass)를 통해 이 정보를 이미 포함하고 있음을 발견했습니다. CIFAR-10, Fashion-MNIST 및 Imagenette에서 $\logα$와 $\logλ_1$ 사이의 피어슨 상관관계는 $-0.91$에서 $-0.95$에 달하며, 실행별 추세를 제거한 후에도 상관관계는 $-0.60$에서 $-0.70$으로 유지됩니다. 이를 통해 느린 선명도 성분에 대한 저렴한 온라인 안정성 한계(Edge-of-Stability) 추정이 가능해집니다. 적용된 프로빙(probing) 메커니즘은 초기화 시점과 초기 50회 옵티마이저 스텝 동안 9회에 걸쳐 Adam의 첫 스텝 업데이트 방향을 따라 탐색합니다. 학습률 상한선은 관측된 가장 작은 스텝 크기의 2배로 설정되며, 연구된 학습률 범위($10^{-3}$ ~ $3.0$) 및 GPT-2 사전학습 실험에서 상한이 적용된 모든 실행은 발산을 회피합니다. 일반 아키텍처 분석에서는 하나의 MLP 아키텍처가 초기 배치(batch) 순서에 여전히 민감합니다. 이 프로빙 프로토콜은 약 1%의 오버헤드만 발생시키며, 비구속적 상한(non-binding cap)을 사용하므로 옵티마이저의 상태와 첫 번째 업데이트가 비트 단위로 동일(bit-identical)합니다. 프로토콜 파라미터를 특정 아키텍처에 맞추는 미세조정(fine-tuning)이 전혀 없으며, 이러한 관점에서 이는 보정이 필요 없는(calibration-free) 안전장치입니다. 이는 정확도를 달성하기 위함이 아니라 발산을 방지하기 위한 수단입니다. GPT-2 규모에서 수행된 여러 측정은 초기화 시점에만 상한을 두는 것이 왜 불충분한지도 보여줍니다. 즉, 초기 5회 옵티마이저 스텝에서 방향성 곡률이 크게 상승하며, 이는 짧은 유예 기간(probationary window)을 두는 근거가 됩니다.
SGD 학습 동안 그래디언트는 종종 손실의 헤시안 상위 $k$개 고유벡터가 생성하는 지배적 부분공간과 강하게 정렬된다. 이는 자연스럽게 손실 감소가 주로 이 공간 내에서 일어난다는 것을 시사하는 것처럼 보이지만, 선행 연구는 이 지배적 부분공간 내의 업데이트가 손실을 줄이는 데 의미 있는 진전을 이루지 못한다는 것을 보여주었다. 본 연구에서는 지배적 부분공간을 손실 감소를 위한 주요 공간이 아니라 미니배치 SGD의 샤프니스 역학을 설명하는 핵심 부분공간으로 이해하는 것이 더 적절하다고 주장한다. 상위 $k$ 샤프니스를 줄이는 데 있어 지배적 부분공간의 역할을 설명하기 위해, 지배적 방향에서의 변동에 대한 평균 그래디언트가 어떻게 샤프니스 보정 항을 생성하는지 보이고, 지배적 방향에서 미니배치 노이즈에 의해 유도되는 샤프니스 보정 항을 유도한다. 실험 결과는 유도된 보정 항을 GD에 추가하면 GD의 샤프니스 변화가 SGD의 그것에 더 가까워진다는 것을 보여준다.
헤시안 행렬은 심층 학습에서 손실 지형과 최적화 역학을 연구하는 데, 또한 일반화 측도 설계, 2차 학습 알고리즘 등을 위해 중요한 관심 대상이다. 기존 연구들은 경험적 결과에 초점을 맞추었거나 지나치게 단순화된 설정 하에서 이론적 분석을 수행해왔다. 본 연구에서는 임의의 너비와 깊이를 갖는 선형 네트워크와, 임의 개수의 샘플·특성·라벨을 갖는 데이터셋에 대해 헤시안의 고유값을 유도한다. 중요하게도, MSE 손실을 사용하는 분류 작업에서 해의 샤프니스가 어떤 클래스에 속하는 샘플의 최대 비율과 직접적으로 관련됨을 밝힌다. 우리는 이 예측을 경험적으로 검증하고, 비현실적인 가정을 하나씩 제거하는 효과와 비선형성을 도입하는 영향을 체계적으로 분석한다. 대부분의 경우 예측이 상당히 견고함을 관찰하여, 보다 실용적인 학습 설정으로 결론을 확장할 수 있게 된다.
첨예도(sharpness)와 복잡도(complexity)는 심층 신경망의 일반화 분석에서 두 가지 핵심 요인이다. 기존의 일반화 측도에 대한 정량적 평가는 대부분 개별 스칼라 측도에 초점을 맞추어, 첨예도와 복잡도의 공동 설명력은 대체로 탐구되지 않았다. 본 연구는 첨예도와 복잡도가 일반화를 얼마나 함께 설명할 수 있는지를 조사한다. 우리는 선형 회귀를 활용하고 파레토 기반 분석을 도입하여 이 두 요인의 공동 설명력을 정량적으로 평가한다. 기존의 매개변수 수준 정의를 넘어, 함수 공간에 더 가깝고 원시 매개변수 표현에 덜 의존하는 첨예도와 복잡도의 구체적 실현을 추가로 제안한다. 함수 지향적 정의가 기존 매개변수 수준 측도로 달성되는 것을 넘어 두 요인 관점의 설명 범위를 확장함을 발견한다. 전반적으로, 우리의 결과는 첨예도-복잡도 관점이 다양한 환경에서 일반화를 이해하는 데 유익한 시각을 제공한다는 것을 지지한다. 동시에, 남아 있는 실패 사례들은 이 두 요인 관점이 일반화의 완전한 이론으로 기능할 수 있는지가 여전히 열린 문제임을 시사한다.
심층 학습(deep learning)에서 널리 받아들여지는 직관은 확률적 경사하강법(SGD)이 암묵적으로 평탄한 최솟값(flat minima)을 선호하며, 평탄한 최솟값이 더 잘 일반화된다는 것입니다. 그러나 손실(loss) 헤시안(hessian)의 트레이스(trace)나 최대 고유값과 같은 표준 유클리드 평탄성 척도는 네트워크 함수를 보존하는 재매개변화(reparametrization)에 대해 불변성(invariant)을 가지지 않으므로, 이러한 주장의 이론적 기초를 약화시킵니다. 본 연구에서는 피셔 정보 행렬(FIM)에 의해 유도된 통계적 다양체(statistical manifold)의 리만 기하학(Riemannian geometry)에 평탄성의 기반을 두어 이 문제를 해결합니다. 우리는 리만 샤프니스(Riemannian sharpness)를 수학적으로 정의하고, 이것이 매끄러운 함수 보존 재매개변화 하에서 불변임을 증명하며, 이는 "Sharp minima can generalize for deep nets"라는 논문에서 Dinh 등이 제기한 비판을 직접적으로 해결합니다. 우리는 이 불변성이 실제 FIM의 속성임을 참고로 둡니다. 실제로 사용되는(그리고 아래의 모든 실험에서 사용된) 대각선 경험적 추정기(diagonal empirical estimator)는 불변성을 근사적으로만 가지며, 임의의 재매개변화에 대한 정확한 불변성을 위해서는 K-FAC와 같은 구조화된 추정기가 필요합니다. 우리는 미니배치(mini-batch) SGD의 그래디언트(gradient) 노이즈를 FIM에 비례하는 공분산 구조를 갖는 것으로 형식화하고, 결과적으로 나타나는 확률 미분 방정식(stochastic differential equation)의 정상 분포(stationary distribution)를 도출한 후, 확률 질량이 리만 평탄 최솟값(Riemannian-flat minima)에서 지수적으로 집중됨을 보여줍니다. SR에 의해 명시적으로 제어되는 PAC-Bayes 일반화 바운드(generalization bound)는 이 기하학적 편향을 테스트 성능과 형식적으로 연결합니다. MNIST와 CIFAR-10에 대한 우리의 실험은 SR이 유클리드 샤프니스(Euclidean sharpness)와는 달리 일반화를 신뢰할 수 있게 추적하며, $η/B$에 따른 스케일링(scaling)이 이론적 예측과 일치함을 확인합니다. 이러한 결과들을 종합하면, 평탄한 최솟값이 왜 일반화되는지에 대한 엄밀하고 재매개변화 불변(reparametrization-invariant)인 설명을 제공합니다.
과매개변수화 네트워크의 놀라운 일반화 특성은 종종 낮은 학습률에서의 노름 최소화, 또는 안정성의 경계(Edge-of-Stability) 영역에서의 낮은 샤프니스(sharpness)와 같은 암묵적 바이어스(implicit bias)에 기인한다고 여겨집니다. 본 연구에서는 경사하강법의 일반화 성능에 대한 포괄적인 이해를 위해서는 이러한 다양한 형태의 암묵적 정규화 간의 상호작용을 분석해야 한다고 주장합니다. 또한 학습률이 낮은 매개변수 노름과 학습된 모델의 낮은 샤프니스 사이를 보간한다는 것을 실증적으로 보여줍니다. 더 나아가 단순 회귀 과제에서 학습된 대각 선형 네트워크(diagonal linear networks)의 경우, 어느 하나의 암묵적 바이어스만으로는 일반화 오차를 최소화하지 못함을 증명합니다. 이러한 결과는 단일 암묵적 바이어스에만 초점을 맞추는 것만으로는 우수한 일반화를 설명하기에 불충분함을 보여주며, 무시할 수 없는 학습률에 의해 유발되는 노름과 샤프니스 간의 동적 상충 관계(trade-off)를 포착하는 더 넓은 암묵적 정규화 관점의 필요성을 뒷받침합니다.