arXiv:2601.21731v3 cs.LG

사전 데이터 적합 네트워크(PFN) 내 스펙트럼 구조에 대한 기저 메커니즘적 증거

Mechanistic Evidence for Spectral Structures in Prior-Data Fitted Networks

Kaustubh Sharma, Srijan Tiwari, Ojasva Nema, Parikshit Pareek

제출 2026-01-29

한국어 초록

사전 데이터 적합 네트워크(PFN, Prior-Data Fitted Network)는 단일 순전파(forward pass)로 근사 베이지안 추론(inference)을 수행하며, 이를 기반으로 구축된 정형 파운데이션 모델(TFM)은 현재 널리 사용되고 있습니다. 네트워크가 내부적으로 무엇을 추론하는지 이해하기 위해 최근 TFM에 대한 기저 메커니즘(mechanistic) 연구들은 예측이 형성되는 위치를 파악하고 있으나, 이러한 모델을 PFN이 아닌 단순 정형 예측기로 다루고 있습니다. 따라서 PFN이 정상 커널(stationary kernel)을 규정하는 양인 컨텍스트의 스펙트럼 성분을 표현하는지, 그리고 이 성분을 명시적인 커널로 읽어낼 수 있는지는 여전히 밝혀지지 않았습니다. 본 연구에서는 두 질문에 모두 답합니다. 첫째, 4개의 사전학습된 TFM 및 의사결정 나무 사전에 대해서만 학습된 모델을 포함한 7개의 PFN 전반에서 잔차 스트림(residual stream)에 대한 선형 프로브는 $R^2 \geq 0.95$로 컨텍스트의 주파수를 복원합니다. 이 구조는 단일 주방향(principal direction)에 의해 주도됩니다. 둘째, 활성화 및 부분공간 패칭(activation and subspace patching)은 네트워크가 저차원 부분공간을 통해 이 구조를 사용함을 보여주며, 여기서 소수의 스펙트럼 방향이 무작위 방향보다 예측을 훨씬 더 크게 변화시킵니다. 이는 의사결정 나무 모델에서도 성립하므로, 스펙트럼 학습 사전이 필수적인 것은 아닙니다. 최대 499개의 특성을 가진 실제 데이터셋에서 라벨 없이 선택된 TabPFN의 192개 방향 중 64개는 단 한 쌍을 제외한 모든 경우에서 컨텍스트 인과 효과의 85~95%를 전달합니다. 셋째, 보흐너 정리(Bochner's theorem)를 통해 고정된 PFN 표현을 명시적인 정상 커널로 변환하는 필터 뱅크 디코더(Filter Bank Decoder)를 도입합니다. 테스트 시점의 최적화 없이도, 디코딩된 커널은 약 200배 낮은 비용으로 딥 커널 학습(deep kernel learning) 및 랜덤 푸리에 특성(random Fourier features)에 필적하는 가우시안 프로세스 회귀를 지원합니다. 따라서 PFN 잠재 공간은 인과적으로 사용되며 이식 가능한 커널로 복원할 수 있는 스펙트럼 구조를 보유하고 있습니다.

원문 초록

Prior-Data Fitted Networks (PFNs) perform approximate Bayesian inference in a single forward pass, and tabular foundation models (TFMs) built on them are now widely used. To understand what networks infer internally, recent mechanistic studies of TFMs locate where predictions form, but treat these models as tabular predictors rather than as PFNs. It therefore remains unknown whether PFNs represent the spectral content of their context, the quantity that specifies a stationary kernel, and whether this content can be read out as an explicit kernel. We answer both questions. First, across seven PFNs, including four pretrained TFMs and a model trained only on a decision-tree prior, a linear probe on the residual stream recovers the frequency of the context with $R^2 \geq 0.95$. This structure is led by a single principal direction. Second, activation and subspace patching show that the network uses the structure through a low-dimensional subspace, where a few spectral directions move predictions far more than random ones. This holds even for the decision-tree model, so a spectral training prior is not required. On real datasets with up to 499 features, 64 of the 192 directions of TabPFN, chosen without labels, carry 85 to 95\% of the causal effect of the context in all but one pair. Third, we introduce a Filter Bank Decoder that turns frozen PFN representations into an explicit stationary kernel through Bochner's theorem. Without any test-time optimization, the decoded kernel supports Gaussian process regression competitive with deep kernel learning and random Fourier features at about $200\times$ lower cost. PFN latents therefore hold spectral structure that is causally used and recoverable as a portable kernel.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.21731v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26867v1stat.ME공통 태그 regression, Bayesian Inference, Gaussian Processes

공간 및 네트워크 객체를 활용한 덧셈 비모수적 회귀

Additive Nonparametric Regression with Spatial and Network Objects

본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.

arXiv:2609.27930v1stat.ME공통 태그 regression, Bayesian Inference, Gaussian Processes

가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크

Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate

우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.

arXiv:2607.14193v2stat.ML공통 태그 regression, Bayesian Inference, Gaussian Processes

복소 Helmholtz 파동장을 위한 연산자 정보 가우시안 프로세스: 합성 벤치마크에서 생체 뇌 탄성영상까지

Operator-Informed Gaussian Processes for Complex Helmholtz Wavefields: From Synthetic Benchmarks to In Vivo Brain Elastography

Helmholtz 방정식은 시간-조화 파동 전파를 지배하며, 감쇠 매질에서는 복소 탄성 계수로 인해 파수의 제곱 $κ^2$가 복소수가 된다. 희소하고 노이즈가 많은 데이터로부터 이러한 장을 추론하려면 자신의 불확실성까지 정량화하는 솔버가 필요하다. 물리 정보 가우시안 프로세스(GP) 회귀는 해에 대한 사후분포를 반환함으로써 이를 제공하지만, 연산자 조건 공식화는 거의 전적으로 실수값 장에 대해서만 개발되어 왔다. 우리는 복소 연산자를 등가의 결합된 실수 블록으로 실수화(realify)함으로써 연산자 정보 GP 회귀를 복소값 Helmholtz 문제로 확장하고, 이를 통해 표준 실수값 GP 조건화로 추론을 가능하게 한다. 이 구성은 적절한(proper) 대각 사전분포부터 공영역화(coregionalized) 및 다중 스케일 변형까지 일련의 사전분포를 허용하며, PDE 잔차와 경계 trace에 조건을 건다. 1차원에서 3차원까지의 벤치마크 문제에서, 이 솔버는 훨씬 작은 내부 제약 예산(interior-constraint budget)으로 유한차분법 및 신경망 베이스라인과 경쟁력을 보인다. 그러한 확정적 베이스라인과 달리, 점 추정이 아니라 복소 파동장에 대한 사후분포를 반환한다. 생체(in vivo) 뇌 자기공명 탄성영상에 적용하면, 적절한 다중 스케일 사전분포가 전단 curl 장을 측정값과 상관계수 0.77로 재구성하여 0.75 목표를 넘는다. 이 성능 향상은 실수-허수 결합이 아니라 다중 스케일 커널에서 비롯된다. 또한 모델 불일치(model mismatch)에 의해 설정된 저주파 정확도 상한과 아직 보정되지 않은 사후 불확실성을 확인한다. 따라서 보정된 불확실성은 감쇠 매질에서 확률적 파동장 추론을 위한 핵심 다음 단계로 부상한다.

arXiv:2607.21745v1eess.SP공통 태그 regression, Bayesian Inference, Gaussian Processes

위성 탑재 SAR 영상에서 RCS 모델링을 위한 딥 시그마 포인트 프로세스

Deep Sigma Point Processes for RCS Modeling in Spaceborne SAR Imagery

레이더 단면적(RCS) 모델링은 위성 탑재 레이더 시스템의 활용도와 민감도를 향상시키는 데 기초적이다. 본 연구는 208,191척의 검증된 선박을 포함하는 RADARSAT-2 데이터셋을 사용하여 합성개구레이더(SAR) 영상에서 RCS를 예측하기 위한 딥 시그마 포인트 프로세스(DSPP) 모델을 제안한다. DSPP 모델은 예측 정확도를 추구할 뿐만 아니라, 레이더 신호, 선박 파라미터, 환경 조건 간의 복잡한 관계에 내재된 불확실성을 특성화한다. 정적 파라미터를 갖는 결정론적 방정식에 의존하는 기존 접근법과 달리, DSPP는 계층적 가우시안 프로세스 프레임워크와 베이지안 추론을 사용하여 RCS 예측의 변동성과 불확실성을 포착한다. 단일 추정치가 아닌 예측 분포를 생성함으로써, 모델은 레이더 반사 신호를 지배하는 복잡한 역학을 반영한다. 자동 관련성 결정(ARD)을 갖는 Matérn 커널을 사용하여 DSPP는 레이더, 운용, 환경 영역 전반에 걸쳐 중요 특징을 식별하고 순위를 매겨 투명성과 해석 가능성을 지원한다. 성능 평가 결과, 모델은 선형 회귀 기준선 대비 우수함을 보였으며, 테스트 데이터에서 제곱근 평균 제곱 오차(RMSE) 20.83% 감소, R² 25.89% 증가, 잔차 사분위 범위와 중앙절대편차(MAD) 모두 44.4% 감소를 달성했다. 보정된 불확실성 경계를 제공함으로써 DSPP는 예측 신뢰성을 향상시키고 견고한 의사결정을 지원한다. 본 연구는 복잡한 현상에 내재된 불확실성을 통합하는 확률적 모델로의 전환을 나타낸다. 고정된 방정식에서 결과에 대한 분포로 전환함으로써 DSPP는 RCS 거동에 대한 더 깊은 이해를 촉진하고 동적 환경에서 시스템이 효과적으로 작동할 수 있게 한다.

arXiv:2610.15862v1cs.LG공통 태그 regression, Gaussian Processes

박판 구형 셸 캡의 강건한 노크다운 팩터 예측 및 신뢰도 기반 설계를 위한 하이브리드 가우스 과정-Extreme Gradient Boosting 머신러닝 프레임워크

A Hybrid Gaussian Process-Extreme Gradient Boosting Machine Learning Framework for Robust Knockdown Factor Prediction and Reliability-Based Design of Thin Spherical Shell Caps

실험을 통해 선형화된 고유좌굴(eigen-buckling) 해석으로 예측된 임계 하중보다 실제 임계 하중이 크게 감소하는 것으로 나타남에 따라, 탄성 좌굴은 깊은 구형 셸 캡(spherical shell cap) 설계에서 여전히 중요한 과제로 남아 있습니다. 이러한 불일치는 초기 기하학적 결함 때문인 것으로 여겨지며, 종종 무차원 매개변수(parameter)인 노크다운 팩터(knockdown factor, KDF)를 통해 보정됩니다. 그러나 기존의 KDF(NASA SP-8007, Eurocode 3)는 방대한 실험 데이터의 하한값을 나타내므로 지나치게 보수적입니다. 본 연구는 구형 셸 좌굴에 대한 실험 데이터로 학습된 머신러닝(ML) 회귀 모델(model)을 통해 구형 셸 캡에 대한 KDF의 보수성을 줄이는 것을 목표로 합니다. 본 논문에서는 가우스 과정 회귀(Gaussian Process Regression, GPR)와 Extreme Gradient Boosting(XGBoost)을 결합한 하이브리드 모델을 제안하며, 인공신경망(Artificial Neural Network, ANN), 서포트 벡터 회귀기(Support Vector Regressor, SVR), 랜덤 포레스트 회귀기(Random Forest Regressor, RFR), 히스토그램 기반 그래디언트(gradient) 부스팅(Histogram-based Gradient Boosting, HGBoost) 등 기존 ML 알고리즘 대비 향상된 성능을 입증합니다. 이러한 각 모델은 6개의 입력 특징(feature)과 단일 출력인 KDF를 사용합니다. 감도 분석을 통해 KDF에 영향을 미치는 가장 핵심적인 특징을 규명합니다. 마지막으로, 본 연구는 안전성을 일관되게 유지하면서도 덜 보수적인 KDF를 도출하기 위해 예측 ML 모델에 의존하는 신뢰도 기반 설계 프레임워크를 제시하며 마무리됩니다.

arXiv:2610.13382v1cs.LG공통 태그 regression, Gaussian Processes

BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링

BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning

커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.