그래프 노드 커널을 효율적·정확하게 근사하는 GRFs++를 제안하며, 편향 없이 여러 짧은 랜덤 워크를 이어 붙이는 walk-stitching으로 먼 노드 관계 모델링 한계를 줄이고 긴 워크 수준의 근사 품질을 병렬 계산으로 달성한다. 워크 종료를 고정 베르누이 방식에서 일반 길이 분포로 확장해 추가 비용 없이 근사 정확도를 높였고, 실험과 이론 분석으로 효과를 보였다.
신경망을 포함한 과매개변수화된 ML 모델은 일반적으로 다중 전역 최솟값을 갖는 불확정 학습 목적함수를 유도합니다. 암묵적 바이어스(implicit bias)는 경사하강법(GD)과 같은 일반적인 최적화 알고리즘에 의해 달성되는 극한 전역 최솟값을 의미합니다. 본 논문에서는 고차원 랜덤 특징(random features)에 대한 제곱 손실(squared loss)을 사용하여 단층 ReLU 모델을 학습할 때 GD의 암묵적 바이어스를 규명합니다. 선행 연구(Vardi and Shamir, 2021)는 최악의 경우(worst-case) 암묵적 바이어스가 존재하지 않거나, 정확히 직교하는 데이터(orthogonal data) 하에서는 최소 $\ell_2$-노름 보간 해와 정확히 일치함을 보였습니다(Boursier et al., 2022). 우리의 연구는 이 두 가지 극단 사이를 보간하며, 충분히 고차원인 랜덤 데이터에 대해 암묵적 바이어스가 $Θ(\sqrt{n/||λ||_1})$ 차수의 격차를 가지고 높은 확률로 최소 $\ell_2$-노름 해를 근사함을 보여줍니다. 여기서 $n$은 학습 예제의 수이며, $λ$는 데이터 공분산 행렬의 스펙트럼을 나타냅니다. 우리의 결과는 예측값, 데이터 스팬 계수 및 그 상호작용의 진화를 면밀히 추적하는 새로운 프리멀-듀얼 분석(primal-dual analysis)을 통해 얻어졌으며, 랜덤 데이터에 대해 ReLU 활성화 패턴이 높은 확률로 빠르게 안정화됨을 보여줍니다.
Bernstein-Schur 커널은 유한 특징 커널(명시적인 유한 차원 특징 맵을 가진 것)과 완전 단조 시불변 커널의 곱입니다: 이는 랜덤 특징이 일반적으로 활용하는 시불변 및 내적 템플릿 사이에 속하는 비정상 커널이므로, 일반적으로 전체 커널에 Bochner 샘플링이나 다항식 스케칭을 직접 적용할 수 없습니다. 우리는 전체 클래스에 대해 두 인자를 모두 무작위화하는 하나의 랜덤 특징 구성을 제시합니다: 이는 유한 변조를 스케치하고 완전 단조 방사형 인자를 무작위화하며, 후자의 1차원 Bernstein-Widder 스케일을 샘플링한 다음 가우시안 랜덤 푸리에 특징(주파수는 여전히 $d$차원임)을 적용합니다. 특징 차원은 스케치 크기 $m$과 방사형 추출 횟수 $D$에 의해 설정된 $Dm$이며, 정확한 변조 특징의 $O(d^2)$ 크기에서 자유롭습니다. 변조를 정확하게 유지하는 것은 해석 가능한 극한($m\to\infty$)입니다: 여기서 우리는 무편향성, 권장되는 평탄 추정량에 대한 정확한 분산, 커널 및 변조 그람 행렬의 상위 고윳값과 내재 차원에 의해 제어되는(거친 $N\max_{ij}$ 원소별 경로 대신) 기대 행렬 Bernstein 연산자 노름 바운드(일치하는 고확률 꼬리 포함), 그리고 결정론적 상대 스펙트럼 커널 리지 안정성 결과를 증명합니다. 스케치를 조건으로 함으로써, 이중 무작위화 추정량은 동일한 내재 차원 연산자 노름 보장과 $D$와 독립적으로 $m$에 의해 조정 가능한 단일 가법적 스케치 항을 상속받습니다. 동기가 되는 사례는 편향된 $yat$-커널 $k_{yat,b}(w,x)=(w^\top x+b)^2/(\|w-x\|^2+\varepsilon)$, $b\ge0$이며, 이의 패밀리 스팬은 $b$에서의 유한 차분을 통해 역 다중 2차 커널을 포함합니다; 이에 대해 방사형 혼합은 IMQ 스펙트럼 샘플러이며, 스케일당 하나의 주파수는 고정된 방사형 특징 예산에서 분산 최적입니다.