PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28432v1stat.ML

가중치 양자화에 따른 경험적 피셔 정보 행렬의 스펙트럼 섭동

Spectral Perturbation of the Empirical Fisher Information Matrix under Weight Quantization

경험적 피셔 정보 행렬(FIM)의 지배 고유값 λ_max가 입력 분포 이탈 및 가중치 양자화(quantization) 노이즈라는 두 가지 섭동 하에서 어떻게 변하는지를 이론적으로 분석하며, Weyl 부등식을 통해 양자화 시 λ_max가 비섭동 값보다 크게 증가함을 증명한다. 이를 배포된 자동회귀 언어 모델의 런타임 모니터링 통계량 σ_t = λ_max(F̂_t)/λ_base로 활용하는 방법을 제안하고, 12개 모델과 1,080개 생성 궤적의 실험을 통해 4비트 양자화 모델에서 보정 임계값이 전정밀도 추정치 대비 약 244배 커지는 현상을 이론과 일치하는 결과로 보고한다.

arXiv:2606.20469v1cs.LG

피셔-기하학적 샤프니스와 평탄한 최솟값에 대한 SGD의 암묵적 편향

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

심층 학습(deep learning)에서 널리 받아들여지는 직관은 확률적 경사하강법(SGD)이 암묵적으로 평탄한 최솟값(flat minima)을 선호하며, 평탄한 최솟값이 더 잘 일반화된다는 것입니다. 그러나 손실(loss) 헤시안(hessian)의 트레이스(trace)나 최대 고유값과 같은 표준 유클리드 평탄성 척도는 네트워크 함수를 보존하는 재매개변화(reparametrization)에 대해 불변성(invariant)을 가지지 않으므로, 이러한 주장의 이론적 기초를 약화시킵니다. 본 연구에서는 피셔 정보 행렬(FIM)에 의해 유도된 통계적 다양체(statistical manifold)의 리만 기하학(Riemannian geometry)에 평탄성의 기반을 두어 이 문제를 해결합니다. 우리는 리만 샤프니스(Riemannian sharpness)를 수학적으로 정의하고, 이것이 매끄러운 함수 보존 재매개변화 하에서 불변임을 증명하며, 이는 "Sharp minima can generalize for deep nets"라는 논문에서 Dinh 등이 제기한 비판을 직접적으로 해결합니다. 우리는 이 불변성이 실제 FIM의 속성임을 참고로 둡니다. 실제로 사용되는(그리고 아래의 모든 실험에서 사용된) 대각선 경험적 추정기(diagonal empirical estimator)는 불변성을 근사적으로만 가지며, 임의의 재매개변화에 대한 정확한 불변성을 위해서는 K-FAC와 같은 구조화된 추정기가 필요합니다. 우리는 미니배치(mini-batch) SGD의 그래디언트(gradient) 노이즈를 FIM에 비례하는 공분산 구조를 갖는 것으로 형식화하고, 결과적으로 나타나는 확률 미분 방정식(stochastic differential equation)의 정상 분포(stationary distribution)를 도출한 후, 확률 질량이 리만 평탄 최솟값(Riemannian-flat minima)에서 지수적으로 집중됨을 보여줍니다. SR에 의해 명시적으로 제어되는 PAC-Bayes 일반화 바운드(generalization bound)는 이 기하학적 편향을 테스트 성능과 형식적으로 연결합니다. MNIST와 CIFAR-10에 대한 우리의 실험은 SR이 유클리드 샤프니스(Euclidean sharpness)와는 달리 일반화를 신뢰할 수 있게 추적하며, $η/B$에 따른 스케일링(scaling)이 이론적 예측과 일치함을 확인합니다. 이러한 결과들을 종합하면, 평탄한 최솟값이 왜 일반화되는지에 대한 엄밀하고 재매개변화 불변(reparametrization-invariant)인 설명을 제공합니다.