PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2206.04359v3cs.LG공식 코드 · Papers with Code

Learning Non-Vacuous Generalization Bounds from Optimization

최적화(optimization) 관점에서 확률적 경사 하강(SGD)이 접근하는 가설 집합이 프랙탈(fractal) 구조를 갖는다는 점을 활용해, 분수 브라운 운동(fractional Brownian motion)으로 구동되는 확률 미분방정식(SDE)으로 이산 시간 재귀를 모델링하고 알고리즘 의존 Rademacher 복잡도에 대한 더 타이트한 비공허(non-vacuous) 일반화(generalization) 상한을 제시한다. 수치 실험에서 ResNet과 Vision Transformer가 ImageNet-1K 같은 대규모 데이터셋에서도 학습될 때 테스트 손실을 그럴듯하게 예측하는 일반화 보장을 얻었다.