Bernstein-Schur 커널: 스케치 변조와 방사형 랜덤화를 통한 랜덤 특징
Bernstein-Schur Kernels: Random Features by Sketched Modulation and Radial Randomization
한국어 초록
Bernstein-Schur 커널은 유한 특징 커널(명시적인 유한 차원 특징 맵을 가진 것)과 완전 단조 시불변 커널의 곱입니다: 이는 랜덤 특징이 일반적으로 활용하는 시불변 및 내적 템플릿 사이에 속하는 비정상 커널이므로, 일반적으로 전체 커널에 Bochner 샘플링이나 다항식 스케칭을 직접 적용할 수 없습니다. 우리는 전체 클래스에 대해 두 인자를 모두 무작위화하는 하나의 랜덤 특징 구성을 제시합니다: 이는 유한 변조를 스케치하고 완전 단조 방사형 인자를 무작위화하며, 후자의 1차원 Bernstein-Widder 스케일을 샘플링한 다음 가우시안 랜덤 푸리에 특징(주파수는 여전히 $d$차원임)을 적용합니다. 특징 차원은 스케치 크기 $m$과 방사형 추출 횟수 $D$에 의해 설정된 $Dm$이며, 정확한 변조 특징의 $O(d^2)$ 크기에서 자유롭습니다. 변조를 정확하게 유지하는 것은 해석 가능한 극한($m\to\infty$)입니다: 여기서 우리는 무편향성, 권장되는 평탄 추정량에 대한 정확한 분산, 커널 및 변조 그람 행렬의 상위 고윳값과 내재 차원에 의해 제어되는(거친 $N\max_{ij}$ 원소별 경로 대신) 기대 행렬 Bernstein 연산자 노름 바운드(일치하는 고확률 꼬리 포함), 그리고 결정론적 상대 스펙트럼 커널 리지 안정성 결과를 증명합니다. 스케치를 조건으로 함으로써, 이중 무작위화 추정량은 동일한 내재 차원 연산자 노름 보장과 $D$와 독립적으로 $m$에 의해 조정 가능한 단일 가법적 스케치 항을 상속받습니다. 동기가 되는 사례는 편향된 $yat$-커널 $k_{yat,b}(w,x)=(w^\top x+b)^2/(\|w-x\|^2+\varepsilon)$, $b\ge0$이며, 이의 패밀리 스팬은 $b$에서의 유한 차분을 통해 역 다중 2차 커널을 포함합니다; 이에 대해 방사형 혼합은 IMQ 스펙트럼 샘플러이며, 스케일당 하나의 주파수는 고정된 방사형 특징 예산에서 분산 최적입니다.
원문 초록
Bernstein--Schur kernels are products of a finite-feature kernel (one with an explicit finite-dimensional feature map) and a completely monotone shift-invariant kernel: nonstationary kernels that fall between the shift-invariant and dot-product templates random features usually exploit, so in general neither Bochner sampling nor polynomial sketching applies to the full kernel directly. We give one random-feature construction for the whole class that \emph{randomizes both factors: it sketches the finite modulation and randomizes the completely monotone radial factor, sampling the latter's one-dimensional Bernstein--Widder scale and then applying Gaussian random Fourier features (whose frequency is still $d$-dimensional). The feature dimension is then $Dm$, set by the sketch size $m$ and the radial-draw count $D$, free of the $O(d^2)$ size of the exact modulation feature. Keeping the modulation \emph{exact} is the analyzable limit ($m\to\infty$): there we prove unbiasedness, an exact variance for the recommended flat estimator, an expected matrix-Bernstein operator-norm bound (with a matching high-probability tail) controlled by the top eigenvalues of the kernel and modulation Gram matrices together with an intrinsic dimension rather than the crude $N\max_{ij}$ entrywise route, and a deterministic relative-spectral kernel-ridge stability result. By conditioning on the sketch, the doubly-randomized estimator inherits the same intrinsic-dimension operator-norm guarantee plus a single additive sketch term, tunable by $m$ independently of $D$. The motivating instance is the biased $yat$-kernel $k_{yat,b}(w,x)=(w^\top x+b)^2/(\|w-x\|^2+\varepsilon)$, $b\ge0$, whose family span contains the inverse-multiquadric kernel by finite differences in $b$; for it the radial mixture is the IMQ spectral sampler, and one frequency per scale is variance-optimal at a fixed radial-feature budget.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11255v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
예측은 충분한 메모리 상태가 아니다
Prediction Is Not a Sufficient Memory State
현재의 모든 예측(prediction)을 그대로 재현하는 메모리(memory)라 할지라도 다음 관측값으로부터 학습하는 방법은 잊어버렸을 수 있다. 우리는 정확한 누적 학습(cumulative learning)과 어텐션(attention)에 대해 이러한 구분을 규명한다. 제약이 없는 실수 특징(feature)과 레이블(label)을 가진 매끄러운 볼록 잔차 손실(smooth convex residual loss)에 대해, 고정된 차원의 연속적인 순환 상태(recurrent state)는 손실(loss)이 다항식(polynomial)일 때에만 정확히 존재한다. 일반적인, 가중치가 없는 관측값의 경우, 차수(degree) $D$는 정확히 $r=\binom{d+D}{D}-1$개의 좌표(coordinate)를 필요로 한다; 현재 예측자(predictor)가 하나로 고정된 히스토리(history) 사이에서도, 연속(continuation)을 위해 정확히 $r-d$개의 좌표가 여전히 필요할 수 있다. 다항식이 아닌 손실(nonpolynomial loss)은 이러한 동일 예측 히스토리(equal-prediction history)에 대해 무한한 요구사항을 가진다. 유계 스칼라 로지스틱(logistic) 예제는 임의의 유한 도함수(derivative) 제트(jet)를 고정한 후에도 이러한 장애(obstruction)를 유지한다. 리지 회귀(ridge regression)의 경우, 숨겨진 증거는 설계 행렬(design matrix)이다: 정확한 상태는 $dp+d(d+1)/2$의 비용이 드는 반면, 예측자(predictor)는 $dp$의 비용이 든다. 잘 조건화된(well-conditioned) 제로 예측 패밀리(zero-prediction family)에서, 최적의 $B$비트 압축(compression)은 임의의 무작위화된 코드(randomized code)를 사용하더라도 $d^{-1}2^{-2B/s_d}$ ($s_d=d(d+1)/2$) 차수의 평균 1회 업데이트 오차를 갖는다. 커널(kernel) 어텐션(attention)은 두 번째의 정확한 닫힘 분류(closure classification)를 제공한다. 이 결과들은 새로운 회귀(regression) 알고리즘을 제안하거나 학습된 모델(trained model)의 성능 향상을 주장하기보다는, 미래의 업데이트가 드러내는 것이 무엇인지를 규명한다.
공편도(coskewness) 기반 차원 축소를 활용한 투블록 클러스터링 트리: 구간별 다변량 선형 체제 복원
Twoblock clustering trees with coskewness-based dimension reduction: recovering piecewise multivariate linear regimes
다변량 반응변수를 위한 해석 가능성이 매우 높은 회귀 트리인 투블록 클러스터링 트리(twoblock clustering tree, \tbtree)를 소개합니다. 투블록 트리는 리프(leaf) 노드에 국소 다변량 선형 모델을 배치하고, 국소 리프 모델 및 불순도(impurity) 계산에 조밀(dense) 또는 희소(sparse) 투블록 차원 축소를 사용하는 결정론적 의사결정 트리입니다. 이를 통해 도출된 모델은 연산 효율성이 높으며 매우 뛰어난 해석력을 가질 수 있습니다. 본 추정기의 주요 목표는 데이터에 대한 해석 가능하고 체제(regime)에 정렬된 구간별 선형(piecewise-linear) 설명을 제공하는 것이며, 분할과 리프의 분리(split/leaf decoupling)를 통해 제약 조건으로서 예측 경쟁력을 유지합니다. 본 논문은 의사결정 트리 추정기 자체를 제안하는 것 외에도 공편도(coskewness) 극대화에 기반하여 데이터 내 비정규 클러스터 식별을 용이하게 하는 투블록 차원 축소 공간 추정기를 소개합니다. 이 트리는 본질적으로 국소 선형 모델들의 집합을 생성하므로 구간별 선형 체제를 복원하는 데 적합하며, 이는 시뮬레이션을 통해 입증됩니다. 아울러 두 가지 실제 데이터 예시를 통해 투블록 트리가 더 복잡한 비선형 의존성을 모델링할 수도 있으며, 랜덤 포레스트(random forests)와 같은 블랙박스 모델링 기법과 대등한 성능을 보일 수 있음을 보여줍니다. 각 단계에서 분할을 생성하는 투블록 모델과 리프에 있는 모델 모두를 직접 점검하고 해석할 수 있습니다.
과제 조건 잠재 정렬을 통한 뇌-기계 인터페이스의 세션 간 안정적 신경 디코딩
Stable Neural Decoding Across Sessions via Task-Conditioned Latent Alignment for Brain-Machine Interfaces
침습적 뇌-기계 인터페이스(BMI)에서 안정적인 장기 신경 디코딩을 달성하는 것은 세션마다 기록된 신경 집단의 변동 때문에 여전히 어렵다. 현재의 잠재 정렬(latent alignment) 접근법은 세션 간 적응 과정에서 과제 의존적 구조를 간과할 수 있다. 우리는 공유 잠재 공간을 학습하여 신경 디코딩을 안정화하는 프레임워크인 과제 조건 잠재 정렬(TCLA, Task-Conditioned Latent Alignment)을 제안한다. TCLA는 신경 재구성(neural reconstruction)과 연속적 행동 감독(continuous behavioral supervision)을 이용해 저차원 source 표현을 학습한다. 대상 세션 적응 시 공유 표현은 고정되며, 각 과제 조건에 대해 source와 target 분포를 따로 정렬함으로써 대상 신경 활동을 source 잠재 공간에 매핑한다. 우리는 여러 과제를 아우르는 7개의 비인간 영장류 데이터셋에서 TCLA를 평가했다. 장기 세션 간 평가에서 TCLA는 평균 $R^2$ $0.476\pm0.014$를 달성했으며, 음의 $R^2$ 실패율은 6.8%에 불과했다. 피험자 내 1,356개 세션 쌍에서 TCLA는 평균 $R^2$ $0.371\pm0.009$와 6.8%의 실패율을 기록했다. 피험자 간 2,134개 세션 쌍에서 TCLA는 평균 $R^2$ $0.218\pm0.004$와 12.9%의 실패율을 달성해 비교 방법들보다 현저히 우수했다. 이 결과는 행동적으로 관련 있고 과제 의존적인 잠재 구조를 보존함으로써 TCLA가 기록 세션과 피험자에 걸친 신경 디코딩의 견고성을 향상시킴을 보여준다. 소스 코드는 \href{https://github.com/FAMD-CASIA/TCLA}{https://github.com/FAMD-CASIA/TCLA}에서 공개되어 있다.
인도 사회경제적 지표의 오토인코더 보조 다운스케일링(JUGAAD)을 위한 지리공간 및 인구조사 프록시의 공동 활용
Joint Utilization of Geospatial and census proxies for Autoencoder-Assisted Downscaling (JUGAAD) of socioeconomic indicators in India
개발도상국의 사회경제적 과제를 해결하기 위해 빈곤 및 식량 안보 지표를 모니터링하는 것은 필수적이다. 한계는 데이터 소스 간의 공간 규모 불일치에 있다. 인구조사 데이터는 지리적 커버리지를 제공하는 반면, 사회경제적 지표는 드물게 실시되는 조사에서 거친 해상도로 도출되어 방법론적 과제를 야기한다. 본 연구는 2001년 및 2011년 인도 인구조사 및 조사 데이터를 사례 연구로 활용하여 심층 학습 프레임워크 JuGAAD를 제안한다. 우리는 3단계 절차를 사용한다. 인구조사 및 지리공간 데이터를 중간 수준의 마을-클러스터 규모 테셀레이션(tessellation)으로 평균화하여 노이즈를 줄이고 행정 경계 변경을 정규화한다. 오토인코더가 고차원 National Sample Survey Office(NSSO) 데이터를 저차원 잠재 표현(latent representation)으로 압축한다. 회귀 모델이 업스케일된 인구조사 및 지리공간 데이터를 이 표현에 매핑한다. 이 함수는 고해상도 예측을 생성하기 위해 세밀한 인구조사 데이터에 적용되며, 실측(ground-truth) 구(district) 수준 NSSO 지표에 대해 검증된다. 결과는 해당 방법론이 세밀한 규모에서 사회경제적 지표를 높은 정확도로 예측함을 확인한다.
가우시안 Sobolev 연산자의 근최적 학습
Near-Optimal Learning of Gaussian Sobolev Operators
연산자 학습에서 핵심 질문은 합리적인 계산 시간 내에 증명 가능한 근사 보장을 갖는 대리 연산자를 어떻게 설계할 것인가이다. 매끄러운 연산자는 효율적으로, 즉 학습 데이터 양에 대해 최소한 대수적 수렴으로 근사할 수 있는 반면, 유한 정칙성을 갖는 연산자의 학습은 덜 효율적인 것으로 알려져 있다. 그 이유는 본질적인 표본 복잡도의 저주 때문이며, 이는 준대수적(subalgebraic) 표본 복잡도 비율만을 허용한다. 이 사실은 이러한 비율을 증명 가능하게 달성하는 알고리즘을 개발하는 것이 더욱 중요하게 만든다. 본 연구에서는 근최적 표본 복잡도로 가우시안 Sobolev 연산자를 학습하기 위한 완전 데이터 기반 알고리즘인 Hermite-PCA 근사를 제시한다. 이 방법은 주성분 분석(principal component analysis)과 가중 최소제곱법(weighted least-squares)을 사용하므로 계산적으로 효율적이다. 또한 스펙트럴(spectral) 방식으로, Sobolev 정칙성이 높을수록 더 빠른(그리고 근최적인) 수렴을 달성한다. 모든 오차 원인을 고려한 이 알고리즘의 완전한 오차 분석과 함께, 이론적 결과를 검증하고 Sobolev 연산자 학습에서 Hermite-PCA 근사의 효능을 실증적으로 확인하는 수치 실험을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.