선형 편미분방정식에 대한 무작위 특징 기법의 수렴 분석
A Convergence Analysis of the Random Feature Method for Linear PDEs
한국어 초록
무작위 특징 기법(RFM)은 높은 정확도와 연산 효율로 편미분방정식(PDE)을 푸는 머신러닝 접근법 가운데 두각을 나타낸다. 그러나 RFM의 이론적 토대는 아직 충분히 밝혀지지 않았다. 본 논문은 커널 방법의 틀에서 RFM을 두 가지 측면으로 분석한다. 첫째는 유한 개 무작위 특징으로 근사하는 문제를 소볼레프 노름과 PDE 잔차 준노름에서 다루는 것이다. 둘째는 잡음이 없는 유한 개 배치점 관측값으로 유도된 재생 커널 힐베르트 공간(RKHS)에서 추정하는 것이다. 두 문제를 커널 릿지 회귀(KRR)와 연결하고, 각각의 가정 아래 대응하는 적분 연산자의 고윳값으로 상한과 하한을 구한다. 근사와 추정의 하한을 결합해 무작위 특징 수와 배치점 관측값 수가 동시에 제한될 때의 하한을 확립한다. 활성화 함수의 매끄러움이 고윳값에 미치는 영향도 정량화했다. 유한 차수에서 매끄러운 활성화 함수에는 대수적 상한을, 해석적 활성화 함수에는 늘어난 지수함수 형태의 상한을 얻었다.
원문 초록
The Random Feature Method (RFM) distinguishes itself among machine learning approaches to partial differential equations (PDEs) through its superior accuracy and computational efficiency. Nevertheless, the theoretical underpinnings of RFM remain incompletely elucidated. This paper provides a comprehensive analysis of RFM within the framework of kernel methods, focusing on two principal aspects: (i) approximation by finitely many random features in Sobolev norms and the PDE residual seminorm, and (ii) estimation over the induced reproducing kernel Hilbert space (RKHS) from finitely many noiseless collocation observations. We relate both problems to kernel ridge regression (KRR) and establish upper and lower bounds in terms of the eigenvalues of the associated integral operators under the respective assumptions. Combining the approximation and estimation lower bounds, we establish a lower bound under simultaneous restrictions on the numbers of random features and collocation observations. We further quantify how activation regularity affects these eigenvalues, obtaining algebraic upper bounds for finitely smooth activations and stretched-exponential upper bounds for analytic activations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20951v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.