arXiv:2309.11076

Symbolic Regression on Sparse and Noisy Data with Gaussian Processes

Junette Hsin, Shubhankar Agarwal, Adam Thorpe, Luis Sentis, David Fridovich-Keil

제출 2023-09-20

원문 초록

In this paper, we address the challenge of deriving dynamical models from sparse and noisy data. High-quality data is crucial for symbolic regression algorithms; limited and noisy data can present modeling challenges. To overcome this, we combine Gaussian process regression with a sparse identification of nonlinear dynamics (SINDy) method to denoise the data and identify nonlinear dynamical equations. Our approach GPSINDy offers improved robustness with sparse, noisy data compared to SINDy alone. We demonstrate its effectiveness on simulation data from Lotka-Volterra and unicycle models and hardware data from an NVIDIA JetRacer system. We show superior performance over baselines including more than 50% improvement over SINDy and other baselines in predicting future trajectories from noise-corrupted and sparse 5 Hz data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15862v1cs.LG공통 태그 regression, Gaussian Processes

박판 구형 셸 캡의 강건한 노크다운 팩터 예측 및 신뢰도 기반 설계를 위한 하이브리드 가우스 과정-Extreme Gradient Boosting 머신러닝 프레임워크

A Hybrid Gaussian Process-Extreme Gradient Boosting Machine Learning Framework for Robust Knockdown Factor Prediction and Reliability-Based Design of Thin Spherical Shell Caps

실험을 통해 선형화된 고유좌굴(eigen-buckling) 해석으로 예측된 임계 하중보다 실제 임계 하중이 크게 감소하는 것으로 나타남에 따라, 탄성 좌굴은 깊은 구형 셸 캡(spherical shell cap) 설계에서 여전히 중요한 과제로 남아 있습니다. 이러한 불일치는 초기 기하학적 결함 때문인 것으로 여겨지며, 종종 무차원 매개변수(parameter)인 노크다운 팩터(knockdown factor, KDF)를 통해 보정됩니다. 그러나 기존의 KDF(NASA SP-8007, Eurocode 3)는 방대한 실험 데이터의 하한값을 나타내므로 지나치게 보수적입니다. 본 연구는 구형 셸 좌굴에 대한 실험 데이터로 학습된 머신러닝(ML) 회귀 모델(model)을 통해 구형 셸 캡에 대한 KDF의 보수성을 줄이는 것을 목표로 합니다. 본 논문에서는 가우스 과정 회귀(Gaussian Process Regression, GPR)와 Extreme Gradient Boosting(XGBoost)을 결합한 하이브리드 모델을 제안하며, 인공신경망(Artificial Neural Network, ANN), 서포트 벡터 회귀기(Support Vector Regressor, SVR), 랜덤 포레스트 회귀기(Random Forest Regressor, RFR), 히스토그램 기반 그래디언트(gradient) 부스팅(Histogram-based Gradient Boosting, HGBoost) 등 기존 ML 알고리즘 대비 향상된 성능을 입증합니다. 이러한 각 모델은 6개의 입력 특징(feature)과 단일 출력인 KDF를 사용합니다. 감도 분석을 통해 KDF에 영향을 미치는 가장 핵심적인 특징을 규명합니다. 마지막으로, 본 연구는 안전성을 일관되게 유지하면서도 덜 보수적인 KDF를 도출하기 위해 예측 ML 모델에 의존하는 신뢰도 기반 설계 프레임워크를 제시하며 마무리됩니다.

arXiv:2610.13382v1cs.LG공통 태그 regression, Gaussian Processes

BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링

BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning

커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.

arXiv:2610.10931v1cs.LG공통 태그 regression, Symbolic Regression

기호 회귀에서 선택 압력으로서의 계수 보정

Coefficient Calibration as Selection Pressure in Symbolic Regression

밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.

arXiv:2609.26624v2stat.ML공통 태그 regression, Gaussian Processes

희소 가우시안 프로세스 회귀에서의 기저 함수 선택

On Basis Function Selection for Sparse Gaussian Process Regression

희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.

arXiv:2609.26843v1math.NA공통 태그 regression, Gaussian Processes

잔차 기반 적응형 GMsFEM을 위한 가우시안 프로세스 대리 지표

Gaussian-process surrogate indicators for residual-based adaptive GMsFEM

고대비(high-contrast) 타원형 문제에 대한 잔차 기반 적응형 GMsFEM은 모든 coarse 이웃에서 국소 가중 $H^{-1}$ 지표를 반복적으로 평가하므로, 반복 쿼리(repeated-query) 설정에서 지표 평가가 반복되는 비용이 된다. D\"orfler marking에 사용되는 지표 점수에 대해 비침투적(non-intrusive) 가우시안 프로세스(GP) 대리 모형을 도입한다. 운영 예측량은 GP 사후 평균이며, 명시된 규약 하에서 커널 릿지 회귀(KRR) 추정량과 대수적으로 동등하다; 다중스케일 해법, 국소 스펙트럼 구성, 또는 기저 enrichment를 바꾸지 않고 압축된 국소 해와 스펙트럼 특징을 사용한다. 비균일 perturbed-marking 결과는 점별 점수 오차가 대리 모형이 선택한 이웃이 포착하는 정확한 지표 질량(indicator mass)에 미치는 영향을 정량화하고, 조건부 bounded-discrepancy KRR 경로는 이러한 점수 경계에 대한 충분한 가정을 밝힌다. 통제된 held-out in-distribution 테스트에서, 대리 모형이 안내하는 방법은 고전적 $H^{-1}$-잔차 오프라인 적응성과 비교 가능한 오차 대 자유도(DoF) 추세를 보이며, 오프라인 데이터 생성 및 GP 학습을 제외하면 온라인 지표 구성 요소 평가가 2.0–2.1배 빠르다.

arXiv:2609.26867v1stat.ME공통 태그 regression, Gaussian Processes

공간 및 네트워크 객체를 활용한 덧셈 비모수적 회귀

Additive Nonparametric Regression with Spatial and Network Objects

본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.