복원 없는 균등 샘플링 하에서의 트랜스덕티브 학습(transductive learning)을 위한 국소화 복잡도 기법인 Sharper Transductive Local Complexity(STLC)를 제안한다. 이 구성은 테스트-학습 경험적 과정(test--train empirical process)의 상한(supremum)에 대한 Bernstein 유형의 집중 부등식(concentration inequality)에서 출발한다. 이 부등식의 증명에는 스왑 워크(swap walk)에 대한 수정된 log-Sobolev 부등식과 두 매개변수 엔트로피 폐쇄(two-parameter entropy closure)가 사용된다. 이어서 대리 국소화 범함수(surrogate localization functional)를 이용한 필링(peeling) 논증을 적용하면, 기존 트랜스덕티브 결과에 존재하던 추가적인 로그 신뢰도 인자 없이도, 고전적인 귀납적 국소 Rademacher 복잡도 경계와 동일한 고정점 항 및 신뢰도 항을 갖는 초과 위험(excess-risk) 경계를 얻을 수 있다. VC 차원이 $\dVC$인 이진 클래스에 대한 실현 가능(realizable) 학습에서, 학습 크기가 $m$, 테스트 크기가 $u$이며 $u\ge m\ge\dVC$일 때, STLC는 $\cO\{\dVC\log(me/\dVC)/m\}$을 도출한다. 이는 표준적인 귀납적 수렴률과 일치하며, $m\ge9$일 때 $\dVC/m$ 차수의 트랜스덕티브 미니맥스 하한과 로그 인자 이내로 일치한다. 트랜스덕티브 커널(kernel) 학습에 대해서는, STLC가 기존 국소 복잡도 경계에 나타나던 곱셈 형태의 불균형 인자 없이 스펙트럼 적응형(spectrum-adaptive) 초과 위험 경계를 제공한다.
우리는 분류(classification) 작업에서 심층 신경망의 기억화(memorization)를 경험적으로 연구하기 위한 간단하면서도 효과적인 방법을 소개한다. 우리의 접근법은 각 학습 샘플에 보조 무작위 레이블을 추가하고, 이를 무작위 레이블 예측 헤드(RLP-head)가 예측하도록 한다. RLP-head는 네트워크의 임의 깊이에 부착될 수 있으며, 해당 중간 표현으로부터 무작위 레이블을 예측함으로써 기억화 용량이 레이어에 걸쳐 어떻게 변화하는지 분석할 수 있다. RLP-head의 성능을 라데마허 복잡도(Rademacher complexity)의 경험적 추정치로 해석함으로써, 샘플 수준의 기억화와 모델 용량 모두에 대한 직접적인 측정값을 얻는다. 우리는 이 무작위 레이블 정확도 지표를 활용하여 다양한 모델과 데이터셋에서 일반화와 과적합을 분석한다. 이 접근법을 기반으로, RLP-head의 출력에 기반한 새로운 정규화 기법을 추가로 제안하며, 이는 기억화를 입증 가능하게 감소시킨다. 흥미롭게도, 우리의 실험은 기억화 감소가 데이터셋과 학습 설정에 따라 일반화를 개선하거나 저해할 수 있음을 보여준다. 이러한 발견은 과적합이 기억화와 동등하다는 전통적인 가정에 도전하며, 이 겉보기에 모순적인 결과들을 조화시키기 위한 새로운 가설을 제시한다. 소스 코드는 https://github.com/MarlonBecker/RandomLabelHeads 에서 확인할 수 있다.
기호 회귀(symbolic regression)를 통한 과학적 발견에서 가설 공간이 깊이에 따라 지수적으로 증가한다는 통계적 난제를 PAC 학습 관점에서 재검토하여, 합성 함수 트리(compositional function tree)의 라데마허 복잡도(Rademacher complexity)가 기호 구조의 수가 아닌 트리 깊이 $d$와 기본 연산자의 립시츠 상수(Lipschitz constant)에 의해 $\mathcal{O}(L^d/\sqrt{n})$으로 제어됨을 증명했다. 이론적 결과를 뒷받침하기 위해 미분 가능한 연산자 트리를 PyTorch로 구현하여 물리 유사 합성 데이터에서 실험적 일반화 갭이 예측된 복잡도 항과 양의 상관관계를 보임을 확인했다.
우리는 매끄러운 손실 함수에 대한 PAC-Bayes 비확률화를 연구합니다. 우리의 목표는 손실과 예측기 클래스 모두의 매끄러움 속성을 활용하여 결정론적 예측기에 대해 고확률로 성립하는 일반화 경계를 얻는 것입니다. 우리는 사후 평균에 있는 결정론적 예측기로 Gibbs 예측기에서 넘어가는 것이 Jensen 간극 클래스의 일반화 간극에 의해 주어지는 정확한 비용이 따른다는 것을 보여줍니다. 우리는 Rademacher 복잡도를 통해 이 클래스를 제어함으로써, 점수 맵의 매개변수 야코비안과 헤시안으로 표현되는 평탄성 양을 포함하는 결정론적 예측기에 대한 경계를 도출합니다. 이 프레임워크는 유계 및 무계 매끄러운 손실 함수 모두에 적용되며, 우리는 선형 예측기와 매끄러운 신경망에 대해 결과를 구체화합니다. 마지막으로, 이론에 등장하는 야코비안과 헤시안 양을 바탕으로 실용적인 정규화기를 제안합니다. BatchNorm 네트워크의 경우, BatchNorm 변환을 인접한 아핀 가중치로 접어 넣어 얻은 유효한 BatchNorm 가중치에 대해 이 정규화기를 계산합니다. CIFAR-10에 대한 실험은 다양한 배치 크기에서 이 정규화기의 동작을 보여줍니다.
최적화(optimization) 관점에서 확률적 경사 하강(SGD)이 접근하는 가설 집합이 프랙탈(fractal) 구조를 갖는다는 점을 활용해, 분수 브라운 운동(fractional Brownian motion)으로 구동되는 확률 미분방정식(SDE)으로 이산 시간 재귀를 모델링하고 알고리즘 의존 Rademacher 복잡도에 대한 더 타이트한 비공허(non-vacuous) 일반화(generalization) 상한을 제시한다. 수치 실험에서 ResNet과 Vision Transformer가 ImageNet-1K 같은 대규모 데이터셋에서도 학습될 때 테스트 손실을 그럴듯하게 예측하는 일반화 보장을 얻었다.