본 논문은 입력 커널(kernel)과 출력 커널의 특정 클래스를 사용하는 t-분포 확률적 이웃 임베딩(t-SNE)에 대한 대규모 샘플(large-sample) 변분 문제(variational problem)를 연구한다. 입력 분포(law)는 콤팩트 지지집합(compact support)을 가지며, 그 지지집합 위에서 연속인 밀도를 갖는다. 엔트로피 방정식(entropy equation)이 입력 커널의 척도 매개변수(scale parameter)를 결정하며, 우리는 밀도가 양수인 내부점에서 이 매개변수가 존재하고 유일함을 증명한다. 이어서 해(solution)가 존재하고 전체 지지집합에서 균등하게 유계(uniformly bounded)가 되기 위한 충분조건을 제시한다. 이러한 조건들과 출력 커널에 대한 감쇠(decay) 가정 하에서, 이산 최적값(discrete optimal values)은 연속체 최솟값(continuum minimum)으로 수렴한다.
근사 최소화자(approximate minimizers)의 경험적 측도(empirical measure)는 평행이동(translation) 후 조밀(tight)하며, 모든 부분수열 극한(subsequential limit)은 평형 방정식(equilibrium equation)을 만족하는 콤팩트 지지 최소화자(compactly supported minimizer)이다. 허용 가능한 출력 커널에는 가우시안 커널(Gaussian kernel)이 포함되며, 출력 차원이 2일 때는 코시 커널(Cauchy kernel)도 포함된다. 수치 예제(numerical examples)를 통해 서로 다른 커널로 얻은 2차원 표현(representation)들을 비교한다.
본 연구에서는 비압축성 나비에-스토크스(Navier--Stokes) 방정식이 지배하는 비압축성 유동을 위한 새로운 물리적 특성 보존 커널 기반 연산자 학습(operator learning) 방법을 제시합니다. 전통적인 수치 해석기는 비압축성을 준수하기 위해 상당한 계산 비용을 발생시킵니다. 연산자 학습은 효율적인 대리 모델을 제공하지만, 기존의 신경 연산자들은 비압축성, 주기성, 난류와 같은 물리적 특성을 정확히 강제하지 못합니다. 본 연구의 커널 방법은 입력 함수를 특성 보존 커널 기저 상의 출력 함수 전개 계수로 매핑하여, 예측된 속도장이 앞서 언급한 물리적 특성들을 해석적으로(analytically) 그리고 동시에 보존하도록 보장합니다. 본 연구는 해당 프레임워크에 대한 보편 근사(universal approximation) 결과 및 최악 조건 사전(a priori) 수렴 속도를 제시하며, 실증적으로 관찰된 수렴 속도는 대부분의 벤치마크에서 이러한 비관적 예측치를 상회하여 더 낙관적인 수렴 속도 정식화의 당위성을 제공합니다. 본 논문의 또 다른 주요 기여는 특성 보존 커널 방법에서 발생하는 대규모 블록 선형계를 풀기 위해 커널 그라미안(Gramian)의 스트리밍 구성과 재귀적 슈어 보강(Schur-complement) 알고리즘을 중심으로 한 새로운 계산 프레임워크입니다. 이 커널 기반 프레임워크를 통해 최대 10,000개의 공간 위치에서 샘플링된 최대 10,000개의 학습 함수 규모에서도 연산자 학습을 실용적으로 적용할 수 있습니다. 본 연구는 까다로운 2D 및 3D, 층류 및 난류 비압축성 유동 문제를 바탕으로 본 방법을 평가합니다. 본 연구의 방법은 일반화 시 신경 연산자와 비교하여 상대 $\ell_2$ 오차를 최대 6자릿수(orders of magnitude) 낮추고 최대 5자릿수 더 빠르게 학습합니다. 또한 본 방법이 비압축성을 해석적으로 강제하는 반면, 신경 연산자는 큰 발산(divergence) 오차를 보입니다. 본 결과는 본 연구의 방법이 비압축성 유동에 대해 정확하고 효율적인 대리 모델을 제공함을 보여줍니다.
조건부 독립성 검정은 근본적이지만 본질적으로 어렵습니다: 추가적인 가정 없이는 일반적으로 제1종 오류 제어가 불가능합니다. "Model-X" 패러다임은 관련 조건부 분포에 대한 정확한 지식을 가정함으로써 이 어려움을 해결합니다. 고전적인 일회성 검정에서는 이 가정에서의 작은 편차가 때때로 허용될 수 있지만, 기존의 순차적 조건부 독립성 검정은 일반적으로 Model-X 조건부가 정확히 알려져 있어야 하므로, 이를 대신 추정해야 할 때 취약해집니다. 우리는 이러한 추정 오차에 대해 훨씬 더 강인한 새로운 접근 방식을 제안합니다. 우리의 방법은 정규화 방식과 절단-이동 보정 전략과 함께, 적응형으로 최적화된 커널 조건부 독립 통계량에 베팅에 의한 검정(testing-by-betting)을 적용합니다. 이러한 수정 사항들은 고차원 합성 벤치마크와 실제 공정성 작업 전반에 걸쳐 높은 검정력을 유지하면서 제1종 오류 증폭을 크게 줄여, 기존의 순차적 Model-X 접근 방식을 능가합니다. 코드는 https://github.com/he-zh/SKCI에서 확인할 수 있습니다.
결정 숲(decision forest)은 트리의 분할 구조를 통해 지도(simulated) 유사성을 유도한다. 그러나 숲 근접성(forest proximity) 계산은 여전히 종종 샘플 수에 대해 이차(quadratic) 연산으로 취급되어, 확장성을 제한하고 커널 및 표현 학습(representation learning) 파이프라인에서의 더 넓은 사용을 제약한다. 본 연구는 Separable Weighted Leaf-Collision(SWLC) 커널 계열을 통해 leaf-collision 숲 근접성에 대한 통합적 관점을 제시하며, 대부분의 기존 근접성이 공통의 희소 leaf-incidence 구조를 공유하면서 가중치 체계(weighting scheme)에서만 다름을 보임을 밝힌다. 이는 커널 해석을 명확히 하는 명시적 leaf-space 표현을 낳고, 근접성 행렬의 정확한 유한 샘플 희소 분해로 이어져 명시적 전쌍(all-pairs) 비교를 피하고 leaf collision에 대한 희소 선형 대수로 계산을 축소한다. 이 프레임워크를 메모리 효율적인 Python 라이브러리로 구현하고, 이론적·실증적으로 정확한 커널 계산이 표준 forest regime에서 시간과 메모리 모두에 대해 거의 선형(near-linear)으로 스케일링(scaling)됨을 보인다. 벤치마크는 데이터셋, 근접성 정의, forest 설정 전반에 걸쳐 예측된 스케일링 행동을 실제로 검증하며, 결과로 얻어진 희소 leaf-space 표현이 빠른 task-aware 임베딩(embedding)에도 직접 사용될 수 있음을 보인다.
우리는 신경 특징 맵을 활용하여 표현력 있는 커널을 구성하는, 이론적으로 정당화된 가우시안 프로세스 프레임워크를 제안한다. 학습된 특징 맵은 내재된 재생 커널 힐베르트 공간(RKHS)에서 유도된 Gram 행렬에 대한 최적 저랭크 근사로 해석할 수 있으며, 이를 통해 GP 사후분포의 일관성을 확립한다. 또한 유도된 커널의 스펙트럴 특성을 분석하고, 과도한 평활화(oversmoothing)를 해결하기 위해 곱 특징 맵 커널을 도입한다. 이 간단하면서도 강력한 접근법은 최소한의 사전 작업으로 빠르고 확장 가능하며 정확한 exact GP 추론을 가능하게 한다. 커널 설계의 유연성은 표 형식 입력과 이미지와 같은 구조화된 영역을 포함한 다양한 데이터 모달리티에서 회귀 및 분류 작업 모두에 원활한 적용을 지원한다. 벤치마크 데이터셋에서 이 접근법은 정확도와 학습 및 예측 효율 측면에서 기존 방법을 능가한다.
최근 신경망의 기저 함수 공간을 특성화하는 데 대한 관심이 커지고 있다. 얕은(shallow) 및 깊은(deep) 스칼라값 신경망은 스칼라값 재생 커널 Banach 공간(RKBS)과 연결되어 왔지만, $\mathbb{R}^d$값 신경망과 신경 연산자(neural operator) 모델은 RKBS 설정에서 덜 이해되고 있다. 이 공백을 메우기 위해, 본질적으로 관련 재생 커널을 포함하는 벡터값 RKBS(vv-RKBS)의 수반 쌍(adjoint pair) 개념을 개발하고, 모든 vv-RKBS가 그러한 쌍에 속함을 증명한다. 우리의 구성은 대칭 커널 정의역, 유한차원 출력 공간, 반사성(reflexivity), 또는 분리성(separability)과 같은 제한적 가정을 피함으로써 기존 커널 정의를 확장하면서, 벡터값 재생 커널 Hilbert 공간(vv-RKHS)의 친숙한 성질을 여전히 회복한다. 그런 다음 얕은 $\mathbb{R}^d$값 신경망이 특정 vv-RKBS, 즉 적분 vv-RKBS(integral vv-RKBS)의 한 사례의 원소임을 보인다. 신경 연산자의 함수적 구조도 탐구하기 위해 DeepONet과 Hypernetwork 아키텍처를 분석하고, 이들 역시 적분 vv-RKBS에 속함을 보인다. 모든 경우에, 이러한 함수 공간에 대한 최적화가 해당 신경 아키텍처를 회복함을 보이는 표현 정리(representer theorem)를 확립한다.
양자 머신러닝(QML) 모델을 테스트할 때 비자명한 데이터셋을 분석하는 것의 중요성이 문헌에서 점점 더 부각되고 있지만, 데이터셋 특성을 이해하기 위한 통합적인 프레임워크는 여전히 불분명하다. 본 연구에서는 양자 커널 방법(QKMs)에 맞춤화된 반인공적 고전 데이터셋을 구성할 수 있는 데이터 생성 도구를 소개한다. 이 도구를 활용하여, 완전한 고전 데이터셋에서 QKM이 고전 커널보다 더 적은 학습 예제로 유사한 오류에 도달할 수 있음을 보이며, 고전 데이터에서 양자 모델을 이용한 데이터 효율적 학습이 가능하다는 명확한 실증적 증거를 제시한다. 이 도구의 주요 목적은 데이터 생성 절차를 조정함으로써 어떤 데이터셋 특성이 양자 모델에 특히 적합한지를 파악하기 위한 통제된 연구를 커뮤니티가 수행할 수 있도록 지원하는 것이다. 아울러, 본 연구는 고전 커널 방법의 스펙트럴 바이어스 기반 일반화 메트릭을 QML 영역에 도입하고, 이 메트릭이 예측하는 성능이 실증적 결과와 밀접하게 일치함을 보임으로써 QML 일반화에서 이론과 실제 사이의 중요한 격차를 해소한다. 본 도구는 데이터셋 복잡성에 대한 체계적인 탐험의 길을 열어준다. 이는 QKM 모델(더 광범위한 QML 모델 패밀리로 확장 가능)의 일반화 이점에 대한 더 깊은 이해에 기여할 수 있으며, 양자 우위(quantum advantage)의 탐색을 임기응변적 벤치마크 탐색에서 원칙에 기반한 데이터셋 설계로 전환시킨다.
결측 데이터를 완전 무작위 결측(MCAR) 하에서 마스킹된 관측의 밀도 추정 문제로 재정의하고, 양반정(PSD) 커널 밀도를 활용해 주변 분포를 정확히 매칭하는 볼록 경험적 위험 최적화 문제를 도출한다. 제안된 PSD-Impute 모델은 단일 및 다중 대체를 동일한 밀도에서 생성하며, 차원의 저주를 극복하는 통계적 일관성을 갖추고 12개 데이터셋 실험에서 기존 대체 기준선(baseline) 대비 경쟁력 있는 분포 정확도를 달성했다.
유계 잡음 환경에서 다중 출력 함수에 대한 최적의 결정론적 불확실성 경계를 재생 커널 힐베르트 공간(RKHS) 내에서 쌍대성(duality) 기반의 비제약 정식화로 도출하여, 가우시안 프로세스(GP) 신뢰 경계와 동일한 구조로 다운스트림 최적화 파이프라인에 직접 통합할 수 있게 한다. 제안된 경계가 기존 결정론적 경계들을 특수 케이스로 포함하는 일반화임을 증명하고, 쿼드로터 동역학 학습 예시로 그 우수성을 수치적으로 검증한다.
양자 커널(quantum kernel)이 지수적 집중(exponential concentration) 문제로 인해 의미 있는 데이터 상관관계를 포착하지 못하는 한계를 극복하기 위해, 이 연구는 고전적 머신러닝의 양성 과적합(benign overfitting) 개념에서 영감을 받아 지역 측정과 전역 측정을 결합한 Local-Global 양자 커널을 제안한다. 이론적·실험적 분석을 통해 해당 커널이 학습 데이터를 보간(interpolate)하면서도 우수한 일반화 성능을 달성함을 입증하였다.
커널 기반 연산자 학습(operator learning)을 위한 2단계 샘플링 프레임워크에서 학습 쌍의 수 N, 입력 관측 수 n, 출력 해상도 m 사이의 명시적 예산 배분(budget allocation) 조건을 이론적으로 도출하고, 수렴을 보장하는 정량적 스케일링 법칙을 제시한다. 또한 재학습 없이 평가 시점에 PDE 잔차를 콜로케이션 포인트에서 페널티로 부과하는 물리 정보 기반(physics-informed) 온라인 재구성 확장 방법을 도입하여 그 효과를 수치 실험으로 검증한다.
에너지 변분 추론(energetic variational inference) 프레임워크를 활용해 최대 평균 불일치(MMD)를 최소화하는 결정론적 샘플링 방법 EVI-MMD를 제안하며, MMD 최소화 문제를 파티클에 대한 ODE 동적 시스템으로 변환하고 암묵적 오일러 기법으로 해결한다. 핵심 혁신인 동적 대역폭 선택 전략을 통해 커널 기반 방법의 오랜 난제를 개선하였으며, 밀도 함수가 명시된 경우와 학습 데이터만 주어진 생성 모델링 시나리오 모두에서 기존 방법들을 능가함을 수치 실험으로 입증한다.
초과 평균제곱오차(XMSE) 분석에서 커널 기반 경험적 베이즈(EB) 추정이 참 매개변수와 맞지 않으면 최대 가능도(ML)보다 나빠질 수 있다는 진단을 설계 원리로 삼아, ML과 EB 수축을 보간하는 XMSE 인식 혼합 추정량과 폐형식 오라클 가중치·플러그인 구현의 이론적 보장을 제시한다. FIR 시뮬레이션과 Silverbox, Cascaded Tanks 벤치마크에서는 정규화가 도움이 될 때 그 이점을 유지하고 커널 오지정 시 ML 쪽으로 후퇴하는 동작을 확인했다.
미소 그래디언트 부스팅의 대표본 분석(Dombry and Duchamps, 2024b)을 기반으로, 우리는 과정이 결정론적 극한 주변에서 보이는 요동을 연구하고 함수형 중심극한정리를 확립한다: 재조정된 편차가 분포상으로 가우시안 과정에 수렴한다. 분석은 소프트맥스 그래디언트 트리 기본 학습기와 자연스럽게 연관된 재생 커널 힐베르트 공간(RKHS)에서 수행되며, 이 공간에서 부스팅 과정은 자율 상미분방정식(ODE)의 해로 특성화된다. 증명은 바나흐 공간에서 ODE에 대한 일반적인 확률적 섭동 분석에 기반하며, 이는 독자적인 관심사이기도 하다: 벡터장의 수열이 수렴하고 중심극한정리를 만족할 때마다, 연관된 ODE 해도 마찬가지임을 보인다. 우리는 먼저 더 단순한 커널 그래디언트 흐름 설정에서 이 섭동 접근법을 예시하는데, 여기서 가우시안 극한은 명시적 특성화를 허용한다. 이후 보다 복잡한 트리 기반 그래디언트 부스팅 설정을 고려한다.
특징 학습 커널의 Recursive Feature Machine(RFM) 알고리즘으로 대수적 과제에서 그로킹(grokking)을 분석했으며, 학습 데이터의 특정 대칭이 깨질 때만 일반화가 발생함을 실험적으로 확인했다. RFM은 데이터에 내재된 불변 군 작용을 복원하며 일반화하고, 학습된 특징 행렬이 대칭 군의 원소를 인코딩해 일반화가 대칭에 의존하는 이유를 설명한다.
In this paper, we establish a novel connection between the metric entropy growth and the embeddability of function spaces into reproducing kernel Hilbert/Banach spaces. Metric entropy characterizes the information complexity of function spaces and has implications for their approximability and learnability. Classical results show that embedding a function space into a reproducing kernel Hilbert space (RKHS) implies a bound on its metric entropy growth. Surprisingly, we prove a \textbf{converse}: a bound on the metric entropy growth of a function space allows its embedding to a $L_p-$type Reproducing Kernel Banach Space (RKBS). This shows that the ${L}_p-$type RKBS provides a broad modeling framework for learnable function classes with controlled metric entropies. Our results shed new light on the power and limitations of kernel methods for learning complex function spaces.
빅데이터 시대에 서브샘플링은 통계적 학습에서 흔한 관행이 되었다. 학습자가 학습에 사용하는 관측치의 하위 집합을 선택하는 서브샘플링은 추정 단계의 계산 비용과 시간을 줄이는 것을 목표하고, 이상적으로는 에너지 소비와 탄소 발자국의 감소로 이어진다. 본 논문은 가설 집합이 재현 커널 힐베르트 공간에 속하는 비모수적 설정에 초점을 맞추며, 추정량은 Horvitz-Thompson 방식으로 재가중된 경험적 위험의 최소화자이다. 이 추정량의 점근적 특성을 연구하여, (공분산 연산자의 trace에 관하여) 최적의 서브샘플링 방안을 밝히고 plug-in 방식으로 사용할 수 있음을 보인다. 합성 및 실제 데이터셋에 대한 수치 연구를 통해 제안 방법의 실용성과 이점을 보여준다.
신경 접선 커널(NTK)이 큰 폭·깊이에서 과매개변수화 신경망을 설명하지 못한다는 기존 결론에 이의를 제기하며, lazy regime에서 개별 은닉 뉴런 활성화 편차는 사라져도 그 집합 norm은 남고 마지막 은닉층 활성화가 일정하지 않음을 실험과 이론으로 보인다. 무한 폭 ReLU 네트워크에서 깊이와 stopping time을 적절히 스케일링하면 대규모 데이터셋에서 비자명하고 안정적인 출력이 나오며, 이 거동의 안정성을 실증하고 다른 커널로 확장 가능한 핵심 성질을 제시한다.
우리는 구성적 처치(compositional treatments)에 대한 인과 효과 추정을 연구합니다. 여기서 노출은 심플렉스(simplex) 상에 위치하며, 추정 대상(estimand)은 스칼라나 이진 값이 아닌 구성(compositions)에 대해 정의됩니다. 평균 잠재적 결과를 처치 공간으로 사영하는 것을 고려하여, 가중치 구성을 위해 커널 기반 공변량 함수형 균형화 접근 방식이 채택됩니다. 가중치는 처치 배정 모델 하에서 추정되는 대신, 처치와 공변량의 결합 공간에 정의된 재생 커널 힐베르트 공간(RKHS)에 대한 최악의 경우 균형화 오차를 직접 최소화하여 얻습니다. 이러한 가중치를 기반으로 증강 가중치 추정량(AWE)을 제안합니다. 여기서 결과 함수는 커널 릿지 회귀를 통해 추정되며 공변량 분포에 대한 주변 증강과 결합됩니다. 결과적으로 생성되는 목적 함수의 구조가 복잡함에도 불구하고, 표현 정리와 저계수 근사를 통해 유한 차원 볼록 최적화 문제로 공식화됩니다. 제안된 추정량은 가중치의 일관된 추정이나 매끄러움을 요구하지 않고 $\sqrt{n}$-일관성을 달성합니다. 표본 특정 목표 주변에서 점근적 정규성 결과가 확립됩니다. 시뮬레이션 연구와 실제 데이터 적용을 통해 경험적 성능을 입증합니다.
국소 다항 회귀(LPR)는 유연성과 단순성 덕분에 복잡한 관계를 모델링하는 데 널리 사용되는 비모수적 방법입니다. 이는 근접성에 따라 가중치가 부여된 데이터의 국소적 부분집합에 저차 다항식을 적합시켜 회귀 함수를 추정합니다. 그러나 기존 LPR은 이상치와 고레버리지 점에 민감하여 추정 정확도에 큰 영향을 미칠 수 있습니다. 본 논문은 회귀 가중치를 계산하는 데 사용되는 커널 함수를 다시 살펴보고, 가중치 부여 메커니즘에 예측 변수와 반응 변수를 모두 통합하는 새로운 프레임워크를 제안합니다. 이 연구의 초점은 국소적 밀도 추정을 통해 이상치의 영향을 완화하여 가중치를 강건하게 추정하는 조건부 밀도 커널입니다. 제안된 방법은 Python으로 구현되었으며 https://github.com/yaniv-shulman/rsklpr에서 공개적으로 제공됩니다. 모집단 분석은 밀도 기반 강건 가중치 부여에 의해 유발된 바이어스를 정량화하며, 보고된 실험 결과는 표준 LOWESS와 대등한 성능을 유지하면서 반복적 강건 LOWESS보다 더 낮은 경험적 바이어스를 보여줍니다. 이러한 발전은 기존 LPR에 유망한 확장을 제공하며, 강건 회귀 응용의 새로운 가능성을 엽니다.