arXiv:2010.04315

Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning

Anthony Tompkins, Rafael Oliveira, Fabio Ramos

제출 2020-10-09

원문 초록

We establish a general form of explicit, input-dependent, measure-valued warpings for learning nonstationary kernels. While stationary kernels are ubiquitous and simple to use, they struggle to adapt to functions that vary in smoothness with respect to the input. The proposed learning algorithm warps inputs as conditional Gaussian measures that control the smoothness of a standard stationary kernel. This construction allows us to capture non-stationary patterns in the data and provides intuitive inductive bias. The resulting method is based on sparse spectrum Gaussian processes, enabling closed-form solutions, and is extensible to a stacked construction to capture more complex patterns. The method is extensively validated alongside related algorithms on synthetic and real world datasets. We demonstrate a remarkable efficiency in the number of parameters of the warping functions in learning problems with both small and large data regimes.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.15995v4cs.LG공통 태그 Inductive Bias

제약 기반 잠재 상태 모델링: 상충하는 제약 조건 하에서의 표현 학습에 대한 통합적 관점

Constrained latent state modeling: A unifying perspective on representation learning under competing constraints

시계열, 다중 모달(multimodal) 및 부분 관측 데이터로부터 잠재 표현(latent representation)을 학습하려면 잠재 상태가 어떤 정보를 유지하고 버리며 체계화해야 하는지 명시해야 합니다. 기존 접근 방식들은 이러한 요구 사항을 이종의 목적 함수를 통해 인코딩하므로, 방법론 간의 비교가 어렵고 학습된 표현을 해석하기 어렵게 만듭니다. 본 논문에서는 잠재 상태를 예측 충분성, 최소성, 시간적 일관성, 관측 호환성, 방해 요인에 대한 불변성, 구조적 제약이라는 6가지 상호보완적 특성으로 규정하는 개념적 프레임워크인 제약 기반 잠재 상태 모델링(CLSM)을 제안합니다. CLSM은 이러한 특성들을 이를 유도하는 데 사용되는 대리 목적 함수 및 이를 평가하는 데 사용되는 진단 지표와 분리하며, 제약 조건들의 조합이 허용 가능한 표현 공간을 제한함으로써 식별 가능성(identifiability)을 어떻게 향상시킬 수 있는지 명확히 합니다. 저자들은 이 공통 설계 공간을 통해 주요 표현 학습 계열들을 재해석하고, 제어된 합성 벤치마크를 통해 프레임워크를 설명합니다. 실험 결과는 예측 목표, 대리 공식화, 매개변수화 및 최적화에 따라 목적 함수들이 어떻게 서로 다른 잠재 체계화와 경험적 트레이드오프를 생성하는지 보여줍니다. 참조 구현체, 재현 가능한 실험, 문서 및 모델 카드가 포함된 관련 저장소: https://github.com/gwenole-quellec/clsm

arXiv:2605.27991v5stat.ML공통 태그 Gaussian Processes

동적 랜덤 효과 추론으로서의 그래디언트 플로우 최적화: 심층 학습에의 적용을 위한 검정 및 조기 종료

Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning

그래디언트 플로우 최적화는 보통 경험적 손실을 최소화하는 알고리즘적 절차로 간주되며, 학습 기간은 검증 또는 휴리스틱 조기 종료 규칙에 의해 선택된다. 우리는 그래디언트 플로우 학습을 위한 통계적 추론 프레임워크를 개발한다. 적합값(fitted values)이 시불변(time-invariant) 양반정치(positive semidefinite) 학습 연산자를 통해 진화할 때마다, 각 시점에서의 출력이 대응하는 랜덤 효과 모델 하의 최량 선형 불편 예측기(best linear unbiased predictor)와 동등함을 보인다. 학습 시간은 잔차 노이즈에서 구조적 신호로의 분산 재할당을 제어하는 분산 성분(variance-component) 매개변수가 된다. 이는 두 가지 학습 결정을 추론 문제로 전환한다: 학습이 필요한지 여부는 초기화 이상의 신호에 대한 분산 성분 검정이 되고, 얼마나 오래 학습할지는 학습 시간 분산 성분의 제한 최대 가능도(restricted maximum likelihood, REML) 추정이 된다. REML 유도 조기 종료 규칙은 최적화된 스펙트럴 손실이 학습 연산자 고유값과 무상관(decorrelated)이 되는 시점을 선택함을 보인다. REML 유도 조기 종료 시간의 점근적 예측 최적성은 고정 설계 표본 내 위험(fixed-design in-sample risk) 및 랜덤 설계 표본 외 위험(random-design out-of-sample risk)에 대해 확립된다. 고정 커널 그래디언트 체제의 심층 학습 모델은 우리 결과의 표준적 구체화를 제공한다. 수치 실험 및 UK Biobank 프로테오믹스 응용은 검증 분할 및 반복적 체크포인트 평가에 대한 의존도를 줄이면서 REML 유도 조기 종료 시간의 경쟁적 정확도를 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.