PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06934v1cs.LG

고정 소수점 매개변수에 대한 경사하강법과 확률적 경사하강법의 균일 안정성과 일반화 오차

Uniform Stability and Generalization Error of GD and SGD on Fixed-Point Parameters

본 논문에서는 각 업데이트에 결정적 반올림(deterministic rounding) 또는 확률적 반올림(stochastic rounding)이 포함되는 이산 매개변수 공간(discrete parameter spaces)에서 경사하강법(GD)과 확률적 경사하강법(SGD)의 일반화 오차(generalization error), 균일 안정성(uniform stability), 균일 인자 안정성(uniform argument stability)을 분석합니다. 볼록(convex)하고 립시츠 연속이며 매끄러운(smooth) 손실 함수(loss functions)에 대해 결정적 반올림이 경사하강법의 일반화 오차를 악화시켜, 그 차수를 $O(T/n)$에서 $O(T/\sqrt{n})$으로 증가시킴을 보이고, 이에 부합하는 하한(lower bounds)을 확립합니다. 또한, 경사하강법의 균일 안정성이 $Ω(T)$가 됨을 증명하여, 이 설정에서 안정성 기반 일반화 바운드(stability-based generalization bounds)가 공허함(vacuous)을 보여줍니다. 대조적으로, 동일한 손실에 대해 결정적 반올림을 적용한 확률적 경사하강법은 자명하지 않은 균일 안정성 보장을 제공하는데, 이는 실수값(real-valued) 경우와 질적으로 다르며 반복 횟수와 차원(dimension)에 대해 뚜렷한 의존성을 나타냅니다: 1차원의 경우 $O(T/n)$, 고차원의 경우 $O(T^2/n)$이라는 타이트한 상한(tight bounds)을 증명합니다. 또한, 확률적 반올림(stochastic rounding)이 차원에 따라 증가하는 일반화 오차를 야기할 수 있음을 보여줍니다; 이러한 현상은 표준 실수값 최적화(standard real-valued optimization)와 결정적 반올림 경우에서는 나타나지 않습니다. 마지막으로, 확률적 반올림 방식(stochastic rounding schemes)에 대한 균일 인자 안정성(uniform argument stability)의 상한을 제공하고, 손실이 좌표별 함수(coordinate-wise functions)의 합으로 표현될 때 이 상한들이 타이트함(tight)을 보여줍니다.