arXiv:2606.20469v1 cs.LG

피셔-기하학적 샤프니스와 평탄한 최솟값에 대한 SGD의 암묵적 편향

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

제출 2026-06-18

한국어 초록

심층 학습(deep learning)에서 널리 받아들여지는 직관은 확률적 경사하강법(SGD)이 암묵적으로 평탄한 최솟값(flat minima)을 선호하며, 평탄한 최솟값이 더 잘 일반화된다는 것입니다. 그러나 손실(loss) 헤시안(hessian)의 트레이스(trace)나 최대 고유값과 같은 표준 유클리드 평탄성 척도는 네트워크 함수를 보존하는 재매개변화(reparametrization)에 대해 불변성(invariant)을 가지지 않으므로, 이러한 주장의 이론적 기초를 약화시킵니다. 본 연구에서는 피셔 정보 행렬(FIM)에 의해 유도된 통계적 다양체(statistical manifold)의 리만 기하학(Riemannian geometry)에 평탄성의 기반을 두어 이 문제를 해결합니다. 우리는 리만 샤프니스(Riemannian sharpness)를 수학적으로 정의하고, 이것이 매끄러운 함수 보존 재매개변화 하에서 불변임을 증명하며, 이는 "Sharp minima can generalize for deep nets"라는 논문에서 Dinh 등이 제기한 비판을 직접적으로 해결합니다. 우리는 이 불변성이 실제 FIM의 속성임을 참고로 둡니다. 실제로 사용되는(그리고 아래의 모든 실험에서 사용된) 대각선 경험적 추정기(diagonal empirical estimator)는 불변성을 근사적으로만 가지며, 임의의 재매개변화에 대한 정확한 불변성을 위해서는 K-FAC와 같은 구조화된 추정기가 필요합니다. 우리는 미니배치(mini-batch) SGD의 그래디언트(gradient) 노이즈를 FIM에 비례하는 공분산 구조를 갖는 것으로 형식화하고, 결과적으로 나타나는 확률 미분 방정식(stochastic differential equation)의 정상 분포(stationary distribution)를 도출한 후, 확률 질량이 리만 평탄 최솟값(Riemannian-flat minima)에서 지수적으로 집중됨을 보여줍니다. SR에 의해 명시적으로 제어되는 PAC-Bayes 일반화 바운드(generalization bound)는 이 기하학적 편향을 테스트 성능과 형식적으로 연결합니다. MNIST와 CIFAR-10에 대한 우리의 실험은 SR이 유클리드 샤프니스(Euclidean sharpness)와는 달리 일반화를 신뢰할 수 있게 추적하며, $η/B$에 따른 스케일링(scaling)이 이론적 예측과 일치함을 확인합니다. 이러한 결과들을 종합하면, 평탄한 최솟값이 왜 일반화되는지에 대한 엄밀하고 재매개변화 불변(reparametrization-invariant)인 설명을 제공합니다.

원문 초록

A widely held intuition in deep learning is that stochastic gradient descent (SGD) implicitly favors flat minima and that flat minima generalize better, but standard Euclidean measures of flatness such as the trace or maximum eigenvalue of the loss Hessian are not invariant under reparametrizations that preserve the network function, which undermines the theoretical foundations of this narrative. In this study we resolve this issue by grounding flatness in the Riemannian geometry of the statistical manifold induced by the Fisher Information Matrix (FIM). We define Riemannian sharpness mathematically and prove that it is invariant under smooth, function-preserving reparametrizations, which directly addresses the critique of Dinh et al. in the paper ``Sharp minima can generalize for deep nets''.We note that this invariance is a property of the true FIM; the diagonal empirical estimator used in practice (and in all experiments below) inherits invariance only approximately, and exact invariance under arbitrary reparametrizations would require structured estimators such as K-FAC. We formalize the gradient noise of mini-batch SGD as having a covariance structure proportional to the FIM, derive the stationary distribution of the resulting stochastic differential equation, and then show that the probability mass is exponentially concentrated at Riemannian-flat minima. A PAC-Bayes generalization bound controlled explicitly by SR formally links this geometric bias to test performance. Our experiments on MNIST and CIFAR-10 confirm that SR reliably tracks generalization in ways that Euclidean sharpness does not, and that its scaling with $η/B$ matches the theoretical predictions. Together these results provide a rigorous, reparametrization-invariant account of why flat minima generalize.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20469v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03998v5cs.LG공통 태그 Stochastic Optimization, sharpness

아르미호 백트래킹을 통한 방향성 곡률: 저비용 선명도 프로브 및 Adam을 위한 보정 불필요 학습률 안전장치

Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam

가장 큰 헤시안(Hessian) 고유값 $λ_1$로 정의되는 국소 선명도(local sharpness)는 안정적인 최대 그래디언트(gradient) 업데이트 크기를 결정하지만, 이를 계산하려면 대개 란초스(Lanczos) 알고리즘이나 헤시안-벡터 곱(Hessian-vector product)을 실행해야 합니다. 그러나 본 연구에서는 백트래킹 인수에 의해 설정된 승수 대역(multiplicative band) 내에서 수용된 스텝 $α$가 탐색 방향을 따른 방향성 곡률을 결정하기 때문에, 단 한 번의 아르미호 백트래킹(Armijo backtracking) 선탐색만으로도 단 몇 번의 순전파(forward pass)를 통해 이 정보를 이미 포함하고 있음을 발견했습니다. CIFAR-10, Fashion-MNIST 및 Imagenette에서 $\logα$와 $\logλ_1$ 사이의 피어슨 상관관계는 $-0.91$에서 $-0.95$에 달하며, 실행별 추세를 제거한 후에도 상관관계는 $-0.60$에서 $-0.70$으로 유지됩니다. 이를 통해 느린 선명도 성분에 대한 저렴한 온라인 안정성 한계(Edge-of-Stability) 추정이 가능해집니다. 적용된 프로빙(probing) 메커니즘은 초기화 시점과 초기 50회 옵티마이저 스텝 동안 9회에 걸쳐 Adam의 첫 스텝 업데이트 방향을 따라 탐색합니다. 학습률 상한선은 관측된 가장 작은 스텝 크기의 2배로 설정되며, 연구된 학습률 범위($10^{-3}$ ~ $3.0$) 및 GPT-2 사전학습 실험에서 상한이 적용된 모든 실행은 발산을 회피합니다. 일반 아키텍처 분석에서는 하나의 MLP 아키텍처가 초기 배치(batch) 순서에 여전히 민감합니다. 이 프로빙 프로토콜은 약 1%의 오버헤드만 발생시키며, 비구속적 상한(non-binding cap)을 사용하므로 옵티마이저의 상태와 첫 번째 업데이트가 비트 단위로 동일(bit-identical)합니다. 프로토콜 파라미터를 특정 아키텍처에 맞추는 미세조정(fine-tuning)이 전혀 없으며, 이러한 관점에서 이는 보정이 필요 없는(calibration-free) 안전장치입니다. 이는 정확도를 달성하기 위함이 아니라 발산을 방지하기 위한 수단입니다. GPT-2 규모에서 수행된 여러 측정은 초기화 시점에만 상한을 두는 것이 왜 불충분한지도 보여줍니다. 즉, 초기 5회 옵티마이저 스텝에서 방향성 곡률이 크게 상승하며, 이는 짧은 유예 기간(probationary window)을 두는 근거가 됩니다.

arXiv:2610.00403v2cs.LG공통 태그 Stochastic Optimization, Inductive Bias

논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건

The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition

옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.

arXiv:2607.23012v1cs.LG공통 태그 Stochastic Optimization, sharpness

미니배치 노이즈가 지배적 부분공간 변동을 통해 샤프니스를 낮춘다

Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations

SGD 학습 동안 그래디언트는 종종 손실의 헤시안 상위 $k$개 고유벡터가 생성하는 지배적 부분공간과 강하게 정렬된다. 이는 자연스럽게 손실 감소가 주로 이 공간 내에서 일어난다는 것을 시사하는 것처럼 보이지만, 선행 연구는 이 지배적 부분공간 내의 업데이트가 손실을 줄이는 데 의미 있는 진전을 이루지 못한다는 것을 보여주었다. 본 연구에서는 지배적 부분공간을 손실 감소를 위한 주요 공간이 아니라 미니배치 SGD의 샤프니스 역학을 설명하는 핵심 부분공간으로 이해하는 것이 더 적절하다고 주장한다. 상위 $k$ 샤프니스를 줄이는 데 있어 지배적 부분공간의 역할을 설명하기 위해, 지배적 방향에서의 변동에 대한 평균 그래디언트가 어떻게 샤프니스 보정 항을 생성하는지 보이고, 지배적 방향에서 미니배치 노이즈에 의해 유도되는 샤프니스 보정 항을 유도한다. 실험 결과는 유도된 보정 항을 GD에 추가하면 GD의 샤프니스 변화가 SGD의 그것에 더 가까워진다는 것을 보여준다.

arXiv:2607.07156v2cs.LG공통 태그 Stochastic Optimization, Inductive Bias

암묵적 바이어스의 해부: 신경망 학습에서의 정보 할당

The Anatomy of Implicit Bias: Information Allocation in Neural Network Training

암묵적 바이어스(implicit bias)는 일반적으로 최적화 과정이 특정 최종 해(solution)와 그 기하학적 구조를 선호하는 경향으로 설명된다. 이 관점은 모델이 최종적으로 수렴하는 지점을 설명하는 데 도움을 주지만, 학습 과정에서 이 바이어스가 어떻게 형성되는지에 대한 직접적인 설명은 부족하다. 본 논문은 학습 시점의 정보 할당(information allocation) 관점을 제안한다. 이 관점에서 최적화는 매개변수 경로, 좌표 채널, 샘플 영역에 걸쳐 오차 신호에 대한 쓰기 패턴을 형성한다. 본 논문은 관측 가능한 할당 진단 지표 집합을 구축한다. 이 진단 지표들에는 그래디언트 수요(gradient demand), 실제 업데이트 주입량, 지수 이동 평균(exponential moving averages)에 의해 유발되는 좌표 이득, 채널 수준 업데이트 비율, 샘플별 손실 분포가 포함된다. 학습 진행 상황과 내부 할당을 분리하기 위해, 본 논문은 붕괴-지속(collapse–persistence) 분석을 도입한다. 동일한 학습 손실 조건 하에서, 외부 손실 통계는 붕괴하지만 내부 할당 비율이 분리된 상태로 유지된다면, 해당 요인은 학습 신호의 내부 할당을 변경하는 것이다. 전반적으로, 본 논문은 암묵적 바이어스의 분석을 최종 해의 기하학적 구조에서 학습 시점의 신호 할당으로 확장한다. 핵심 주장은, 암묵적 바이어스가 최종 해에만 반영되는 것이 아니라, 학습 과정에서 어떤 매개변수 경로, 좌표 채널, 샘플 영역이 오차 신호를 먼저 그리고 더 강하게 수신하는지에도 반영된다는 것이다. 이 관점을 바탕으로, 본 논문은 다양한 학습 요인들을 통합된 정보 할당 진단 프레임워크에 배치한다. 이 프레임워크는 학습 시점 암묵적 바이어스에 대한 메커니즘 수준의 설명을 제공하며, 학습 진행과 신호 할당을 별도로 제어하는 미래의 최적화 방법을 위한 기반을 마련한다.

arXiv:2607.03613v1cs.LG공통 태그 Stochastic Optimization, Inductive Bias

다변량 렐루 네트워크에서 SGD의 암묵적 편향: 유효 너비 붕괴

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

우리는 다변량 회귀를 위한 광폭 이층 렐루 네트워크 학습에서 잡음이 있는 확률적 경사하강법(SGD)의 암묵적 편향을 연구한다. 평균장(mean-field) 체제에서 학습 동역학은 유일한 정상 측도(stationary measure)로 수렴하는 와서스타인(Wasserstein) 그래디언트 흐름으로 근사된다. 우리는 이 정상 측도의 구조와 그것이 나타내는 예측자를 분석한다. 네트워크가 무한히 과매개변수화(overparameterized)되어 있음에도 불구하고, 학습된 예측자는 유효하게 유한한 표현을 가짐을 보인다: 입력 가중치와 바이어스가 유한히 많은 방향으로 정렬되어 유효 너비 붕괴(effective width collapse)로 이어진다. 특히, 해 함수는 연속적인 구간별 아핀(piecewise affine) 함수이며, 아핀 영역은 유한 초평면 배열(hyperplane arrangement)의 셀에 의해 결정된다. 학습된 방향의 수, 즉 초평면의 수는 $2\mathcal{P}-1$로 상한이 정해지며, 여기서 $\mathcal{P}$는 학습 입력에서 실현 가능한 선형 이분법(linear dichotomies)의 수를 나타낸다. 나아가, 학습된 각 방향이 학습 데이터에 대해 유일한 삼진 활성화 패턴(ternary activation pattern)을 유도함을 증명함으로써 학습된 표현의 비중복성(non-redundancy) 특성을 확립한다. 결과적으로, 학습된 예측자의 복잡도는 학습 데이터의 조합론적 기하학(combinatorial geometry)에 의해 결정된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.