Incremental Ensemble Gaussian Processes
원문 초록
Belonging to the family of Bayesian nonparametrics, Gaussian process (GP) based approaches have well-documented merits not only in learning over a rich class of nonlinear functions, but also in quantifying the associated uncertainty. However, most GP methods rely on a single preselected kernel function, which may fall short in characterizing data samples that arrive sequentially in time-critical applications. To enable {\it online} kernel adaptation, the present work advocates an incremental ensemble (IE-) GP framework, where an EGP meta-learner employs an {\it ensemble} of GP learners, each having a unique kernel belonging to a prescribed kernel dictionary. With each GP expert leveraging the random feature-based approximation to perform online prediction and model update with {\it scalability}, the EGP meta-learner capitalizes on data-adaptive weights to synthesize the per-expert predictions. Further, the novel IE-GP is generalized to accommodate time-varying functions by modeling structured dynamics at the EGP meta-learner and within each GP learner. To benchmark the performance of IE-GP and its dynamic variant in the adversarial setting where the modeling assumptions are violated, rigorous performance analysis has been conducted via the notion of regret, as the norm in online convex optimization. Last but not the least, online unsupervised learning for dimensionality reduction is explored under the novel IE-GP framework. Synthetic and real data tests demonstrate the effectiveness of the proposed schemes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
부분 학습 가능 연산자 학습 프레임워크: 대규모 응용을 위한 DeepONet과 Karhunen-Loeve 전개의 연결
A Trainable-by-Parts Operator Learning Framework: Bridging DeepONet and Karhunen-Loeve Expansions for Large-Scale Applications
편미분방정식(PDE)으로 지배되는 대규모 문제에 대한 연산자 학습 모델의 학습은 차원의 저주, 메모리 제약, 그리고 제한된 학습 데이터로 인해 어렵다. 이러한 문제는 지하 흐름, 기후 모델링, 지질 탄소 저장(GCS)을 포함한 다양한 과학 및 공학 응용 분야에서 발생한다. 본 연구에서는 Karhunen-Loeve 심층 신경망(KL-DNN)을 기반으로 한 확장 가능한 연산자 학습 프레임워크를 제안하고, GCS 모델링에 대한 성능을 입증한다. 모델은 170만 셀과 50개 시간 단계를 포함하는 3차원 도메인에서의 대규모 시뮬레이션 100개 샘플로 구성된 데이터셋으로 학습된다. KL-DNN 방법은 정적 속성의 저순위 특이값 분해와 동적 압력장에 대한 중첩 Karhunen-Loeve 전개를 사용하여 잠재 공간을 구성하며, 서브샘플링이나 공간 조잡화 없이 전체 해상도 예측을 가능하게 한다. KL-DNN 모델은 압력에 대해 평균 1.1 psi의 평균 제곱근 오차(RMSE)(도메인 내 평균 압력 대비 0.04% 상대 오차)와 CO2 포화도에 대해 RMSE 0.0146(플룸 내부 평균 포화도 대비 5% 상대 오차)을 달성한다. 모델은 단일 GPU에서 20분의 학습 시간을 필요로 하며, 동일한 데이터셋으로 학습된 DeepONet 대비 압력 오차 19% 감소, 포화도 오차 7% 감소, 2차 규모의 속도 향상을 나타낸다. 이러한 결과는 1분 미만의 추론 시간과 함께, 제안된 모델이 대규모 PDE 문제에 대한 실용적이고 정확한 솔루션으로서 신속한 불확실성 정량화, 히스토리 매칭, 실시간 의사결정 지원을 가능하게 함을 보여준다.
다루기 쉬운 불확실성 정량화를 지원하는 구조 보존형 신경망 대리 모델
Structure-Preserving Neural Surrogates with Tractable Uncertainty Quantification
최근 과학 기계 학습(scientific machine learning)의 발전은 편미분 방정식(PDEs)에 대한 준실시간 해법을 제공하지만, 현대의 검증(verification) 및 확인(validation)을 지원하는 기존 시뮬레이터의 이론적 기초가 부족합니다. 본 연구에서는 구조 보존형 실시간 대리 모델 역할을 하는 데이터 기반 차수 축소 모델(reduced-order models)을 구축합니다. 특히, 물리적 보존 구조를 부과하는 외적 미적분학(exterior calculus)이 상태-플럭스 관계의 불확실성에 대한 가우시안 프로세스(GP) 표현을 구축하는 데 사용하는 위상적 구조를 드러낸다는 점이 주목됩니다. 이는 궁극적으로 사후 불확실성에 대한 닫힌 형식의 식을 갖는 관심 양(quantities of interest)에 대한 디리클레-노이만 맵(Dirichlet-to-Neumann map)을 산출합니다. 구체적으로, 우리는 경량 트랜스포머(transformer)에 의해 규정된 기존 라비아르-토마스(Raviart--Thomas) 및 $dgP_0$ 요소의 구조 보존형 $H(\mathrm{div})$-$L^2$ 부분 공간을 제안합니다. 이 부분 공간과 일치하는 차수 축소 역학은 GP가 부피 간 플럭스를 설명하는 보존 법칙을 제시함으로써 학습됩니다. 이 작업은 혼합 유한 요소법(FEM) 공간과 GP 회귀 간의 새로운 인터페이스에 기반합니다. 학습(training)을 최적 회복 문제(ORP)로 제시할 때, 결과적인 GP 회귀는 보존 구조를 부과하는 등식 제약 조건이 있는 최적화 문제로 작성될 수 있으며, 이는 빠른 슈어 보수(Schur-complement) 학습 전략에 적합합니다. 그런 다음 학습된 모델은 지정된 디리클레 데이터(Dirichlet data)에 의해 구동되는 경계 플럭스에 대한 닫힌 형식의 추정기를 사용하여 실시간으로 해결할 수 있습니다. 본 논문은 불확실성 정량화를 지원하기 위한 선형 범함수에 대한 RKHS(재생 커널 힐베르트 공간) 사후 오차 한계를 포함하며, 오차 추정에 대한 대리 모델로서 사후 분포의 정확도를 입증하는 수치 실험도 포함합니다.
근접 외계 행성 모집단의 머신러닝 클러스터링: 자갈 성장과의 연관성
Machine-learning clustering of close-in exoplanet populations: links to pebble accretion
근접 외계 행성들은 형성 조건과 이동 과정에 의해 형성된 궤도 구조와 물리적 특성의 다양한 범위를 보여줍니다. 모집단 합성 모델이 뚜렷한 행성 모집단을 예측하지만, 관측된 외계 행성과 합성 모집단 간의 정량적 연결을 확립하는 것은 여전히 어렵습니다. 우리는 물리적 근거에 기반한 동역학적 매개변수를 사용하여 근접 외계 행성의 내재적 조직을 조사하고, 결과로 나온 모집단을 자갈 성장 형성 경로와 연결합니다. 2단계 가우시안 혼합 모델(GMM)을 근접 외계 행성의 관측 샘플에 적용하여, 행성-별 상호작용의 동역학적 기술자가 지배하는 특징 공간에서 비지도 확률적 클러스터링을 수행합니다. 결과 클러스터는 통계적 근거에 기반한 3차원 매개변수 공간 내에서 자갈 성장 합성 모집단에 매핑됩니다. 그런 다음 가스 이용 가능성, 가스 비율, 얼음-암석 질량비를 포함한 형성 관련 양을 사용하여 매핑된 모집단을 해석합니다. 우리는 미리 정의된 분류 경계를 강요하지 않고, 매우 거대한 가스 거성, 뜨거운 거성, 온난 목성 지배 시스템, 저질량 거성을 포함하여 통계적으로 지지되는 하위 모집단을 식별합니다. 매핑된 합성 모집단은 형성 시기, 가스 성장, 고체 성장 이력에서 체계적인 차이를 보여줍니다. 특히, 매우 거대한 가스 거성은 뜨거운 거성 및 온난 목성 지배 모집단보다 이른 형성 시기와 선호적으로 연관됩니다. 이러한 결과는 물리적 근거에 기반한 머신러닝 접근 방식이 관측된 외계 행성 모집단을 이론적 행성 형성 경로와 연결하기 위한 통계적으로 견고한 프레임워크를 제공할 수 있음을 보여줍니다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
동적 랜덤 효과 추론으로서의 그래디언트 플로우 최적화: 심층 학습에의 적용을 위한 검정 및 조기 종료
Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning
그래디언트 플로우 최적화는 보통 경험적 손실을 최소화하는 알고리즘적 절차로 간주되며, 학습 기간은 검증 또는 휴리스틱 조기 종료 규칙에 의해 선택된다. 우리는 그래디언트 플로우 학습을 위한 통계적 추론 프레임워크를 개발한다. 적합값(fitted values)이 시불변(time-invariant) 양반정치(positive semidefinite) 학습 연산자를 통해 진화할 때마다, 각 시점에서의 출력이 대응하는 랜덤 효과 모델 하의 최량 선형 불편 예측기(best linear unbiased predictor)와 동등함을 보인다. 학습 시간은 잔차 노이즈에서 구조적 신호로의 분산 재할당을 제어하는 분산 성분(variance-component) 매개변수가 된다. 이는 두 가지 학습 결정을 추론 문제로 전환한다: 학습이 필요한지 여부는 초기화 이상의 신호에 대한 분산 성분 검정이 되고, 얼마나 오래 학습할지는 학습 시간 분산 성분의 제한 최대 가능도(restricted maximum likelihood, REML) 추정이 된다. REML 유도 조기 종료 규칙은 최적화된 스펙트럴 손실이 학습 연산자 고유값과 무상관(decorrelated)이 되는 시점을 선택함을 보인다. REML 유도 조기 종료 시간의 점근적 예측 최적성은 고정 설계 표본 내 위험(fixed-design in-sample risk) 및 랜덤 설계 표본 외 위험(random-design out-of-sample risk)에 대해 확립된다. 고정 커널 그래디언트 체제의 심층 학습 모델은 우리 결과의 표준적 구체화를 제공한다. 수치 실험 및 UK Biobank 프로테오믹스 응용은 검증 분할 및 반복적 체크포인트 평가에 대한 의존도를 줄이면서 REML 유도 조기 종료 시간의 경쟁적 정확도를 보인다.
추론의 기하학적 특징: 과제 난이도에 대한 스펙트럼적 관점
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
사고의 연쇄(CoT) 추론은 대규모 언어 모델(LLM)이 중간 추론 단계를 생성하여 복잡한 문제를 풀 수 있게 한다. 이러한 추론 사슬의 길이와 내용에는 많은 관심이 기울여져 왔지만, 그 내부 기하에 대해서는 훨씬 덜 알려져 있다. 우리는 트랜스포머 모델의 은닉 상태 공간에서 CoT 궤적의 기하를 연구하며, 각 추론 사슬을 $\mathbb{R}^d$ 상의 이산 곡선으로 형식화하고 스펙트럼, 위치, 운동학적 기하 범함수를 통해 특성화한다. 궤적 복잡도의 척도로 유효 차원 $d_\rho$를 도입하고, 더 어려운 과제일수록 더 큰 유효 차원을 보임을 실험적으로 보인다. 마지막으로 궤적의 운동학적 특징, 즉 평균 위치, 위치 분산, 초기 및 최종 은닉 상태, 평균 속도, 평균 속력, 속력 분산이 생성이 완료되기 전에 풀이의 정답 여부를 예측하는 데 사용될 수 있음을 탐구하며, 이는 향후 조기 종료 전략에 활용될 수 있다. 실험적으로 MATH500 데이터셋의 86개 수학 추론 문제와 세 가지 Qwen2.5 모델 규모(0.5B, 1.5B, 7B)에서 $d_\rho$는 각각 $0.90$, $0.94$, $0.96$의 난이도 예측 AUROC를 달성한다. 일곱 가지 운동학적 및 위치 특징은 생성된 토큰의 처음 $20\%$만으로 정답 여부를 예측하며, 규모 전반에서 AUROC는 $0.77$에서 $0.88$ 사이이다. 이러한 정답성 특징은 보류된 질문 간에도 전이되어, 모델의 내부 추론 궤적의 형태가 과제 난이도와 풀이 품질 모두를 들여다볼 수 있는 원리적 창임을 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.