PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11255v1cs.LG

Bernstein-Schur 커널: 스케치 변조와 방사형 랜덤화를 통한 랜덤 특징

Bernstein-Schur Kernels: Random Features by Sketched Modulation and Radial Randomization

Bernstein-Schur 커널은 유한 특징 커널(명시적인 유한 차원 특징 맵을 가진 것)과 완전 단조 시불변 커널의 곱입니다: 이는 랜덤 특징이 일반적으로 활용하는 시불변 및 내적 템플릿 사이에 속하는 비정상 커널이므로, 일반적으로 전체 커널에 Bochner 샘플링이나 다항식 스케칭을 직접 적용할 수 없습니다. 우리는 전체 클래스에 대해 두 인자를 모두 무작위화하는 하나의 랜덤 특징 구성을 제시합니다: 이는 유한 변조를 스케치하고 완전 단조 방사형 인자를 무작위화하며, 후자의 1차원 Bernstein-Widder 스케일을 샘플링한 다음 가우시안 랜덤 푸리에 특징(주파수는 여전히 $d$차원임)을 적용합니다. 특징 차원은 스케치 크기 $m$과 방사형 추출 횟수 $D$에 의해 설정된 $Dm$이며, 정확한 변조 특징의 $O(d^2)$ 크기에서 자유롭습니다. 변조를 정확하게 유지하는 것은 해석 가능한 극한($m\to\infty$)입니다: 여기서 우리는 무편향성, 권장되는 평탄 추정량에 대한 정확한 분산, 커널 및 변조 그람 행렬의 상위 고윳값과 내재 차원에 의해 제어되는(거친 $N\max_{ij}$ 원소별 경로 대신) 기대 행렬 Bernstein 연산자 노름 바운드(일치하는 고확률 꼬리 포함), 그리고 결정론적 상대 스펙트럼 커널 리지 안정성 결과를 증명합니다. 스케치를 조건으로 함으로써, 이중 무작위화 추정량은 동일한 내재 차원 연산자 노름 보장과 $D$와 독립적으로 $m$에 의해 조정 가능한 단일 가법적 스케치 항을 상속받습니다. 동기가 되는 사례는 편향된 $yat$-커널 $k_{yat,b}(w,x)=(w^\top x+b)^2/(\|w-x\|^2+\varepsilon)$, $b\ge0$이며, 이의 패밀리 스팬은 $b$에서의 유한 차분을 통해 역 다중 2차 커널을 포함합니다; 이에 대해 방사형 혼합은 IMQ 스펙트럼 샘플러이며, 스케일당 하나의 주파수는 고정된 방사형 특징 예산에서 분산 최적입니다.