Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
원문 초록
We propose a general matrix-valued multiple kernel learning framework for high-dimensional nonlinear multivariate regression problems. This framework allows a broad class of mixed norm regularizers, including those that induce sparsity, to be imposed on a dictionary of vector-valued Reproducing Kernel Hilbert Spaces. We develop a highly scalable and eigendecomposition-free algorithm that orchestrates two inexact solvers for simultaneously learning both the input and output components of separable matrix-valued kernels. As a key application enabled by our framework, we show how high-dimensional causal inference tasks can be naturally cast as sparse function estimation problems, leading to novel nonlinear extensions of a class of Graphical Granger Causality techniques. Our algorithmic developments and extensive empirical studies are complemented by theoretical analyses in terms of Rademacher generalization bounds.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
조건부 공분산 순서화를 통한 함수적 인과 발견
Functional Causal Discovery via Conditional Covariance Ordering
본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.
변동성 학습: 인과 표 형식 사전학습의 통계적 기초
Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining
인과 표 형식 파운데이션 모델은 합성 메커니즘 전반에 걸쳐 효과 추정을 상각(amortize)하지만, 잠재 효과(latent-effect) 지도학습은 고정된 배포 모집단에서 필요한 반복 표본 반응을 직접 인코딩하는 대신 사후 분포 수축(posterior shrinkage)을 보상한다. 본 논문에서는 변동 지도 사전학습(fluctuation-supervised pretraining, FSP)을 제안한다. 각 합성 테이블은 평균 처치 효과(ATE)와 그 효율적 영향 함수(efficient influence-function) 변동의 합으로 레이블링되며, 배포 시에는 여전히 단일 고정 순전파만 수행한다. 경로 $T_{\lambda,P}=\theta(P)+\lambda P_n\psi_P$를 따라 끝점 전이(endpoint transition)를 증명한다. 즉, 고정된 모든 $\lambda<1$에서는 $(1-\lambda)^2/n$ 차수의 레이블 모호성이 남는 반면, 완전한 변동을 사용하면 가우시안 레이블을 관측할 수 있게 되어 최적의 유한 층(finite-stratum) 인과 레이블 예측 위험이 $n^{-2}$ 차수로 감소한다. 하나의 유한 사전학습 경계(bound)는 레이블 오차, 네트워크 오차, 에피소드 샘플링 오차, 최적화 오차를 결합하며, 그 결과로 얻어지는 샘플링 결함(sampling defect)은 고정 메커니즘 바이어스, 평균 제곱 오차, 분산, 가우시안 근사를 제어하고, 분산 헤드(variance-head)의 정확도가 뒷받침될 경우 스튜던트화(studentized) 커버리지까지 제어한다. 상호 보완적인 하한(lower bound)은 배포 관측으로도 제거할 수 없는 국소적 $n^{-1}$ ATE 위험과, 일반적인 유한 사전(finite-dictionary) 에피소드 학습 문제의 $\log N/M$ 초과 위험을 분리한다. 실험은 학습된 샘플링 반응을 추적한다. 원시 행/열(raw-row/column) 백본을 사용할 때, FSP는 대규모 효과 이동(large-effect-shift) 상황에서 RMSE를 잠재 지도학습 대비 69.8%, 동일 테이블에서 공개된 CausalPFN 체크포인트 대비 39.5% 감소시킨다. 연속 공변량 실험, 효과가 알려진 반합성(semisynthesis) 실험, 그리고 두 건의 무작위 연구 평가는 샘플링 법칙 충실도(sampling-law fidelity)와 점 위험 수축(point-risk shrinkage)을 분리하고, 두 학습된 헤드 모두에서 약한 중첩(weak-overlap) 오차가 나타남을 보여준다.
All of Us Research Program에서 주관적 인지 어려움의 환경·심리사회적 결정요인에 대한 AI 보조 인과 추론 및 매개 분석
AI-Assisted Causal Inference and Mediation Analyses of Environmental and Psychosocial Determinants of Subjective Cognitive Difficulties in the All of Us Research Program
단기 환경 노출은 인지 및 행동 결과와 연관된 것으로 보고되었지만, 많은 보고된 연관성은 더 넓은 지리적·맥락적 차이를 반영할 수 있다. All of Us Research Program(2018--2024)의 종단 데이터를 사용하여, 일별 기상 및 대기오염 노출을 반복 측정된 주의력 관련 및 주관적 인지 결과와 연결했다. 연관성은 pooled, 고정효과(fixed-effects), 시차(lagged), 이벤트 연구(event-study) 분석을 사용하여 평가했다. 잠재적 이질성과 잠재 심리사회적 구조를 탐색하기 위해 추가적인 머신러닝 분석을 수행했다. 2024 Behavioral Risk Factor Surveillance System(BRFSS)을 사용하여 재현 분석을 수행했다. 여러 환경 노출 지표는 pooled 분석에서 인지 결과와 작은 연관성을 보였지만, 대부분은 위치 내 시간적 변이를 통제한 후 상당히 약화되었다. 매개, 민감도, 머신러닝 분석은 유사한 결론을 도출했다. 반면, 정신건강 부담, 외로움, 사회적 기능은 주관적 인지 어려움과 일관되게 연관되어 있었으며 환경 노출보다 실질적으로 더 큰 효과 크기를 보였다. BRFSS에서도 유사한 패턴이 관찰되었다. 탐색적 AI 보조 분석은 1차 종단 분석과 대체로 일치하는 결과를 도출했다. 이 결과는 위치 내 변이를 통제한 후 단기 환경 교란은 인지 결과와 제한적인 연관성을 가질 수 있음을 시사하는 반면, 심리사회적 요인은 주관적 인지 부담과 더 일관되게 연관되는 것으로 보인다.
이분산 신경망을 이용한 양방향 인과 상호작용 학습
Learning Bidirectional Causal Interactions with Heteroscedastic Neural Networks
관측 데이터로부터 동시점 양방향 상호작용을 추정하는 것은 각 결과 변수가 서로에 대해 내생적이기 때문에 어렵고, 유연한 회귀는 축약형(reduced-form) 의존성만 포착할 수 있다. 본 논문은 외부 도구 변수(instrument) 없이 상호적인 구조적 상호작용을 학습하는 이분산 신경 동시방정식 추정량 SEM-DNN을 제안한다. 식별(identification)은 조건부 공분산 대각화(diagonalization)를 활용한다. 구조적 충격(structural shock)의 조건부 평균이 0이고, 사전결정 공변량(predetermined covariates)이 주어졌을 때 조건부로 비상관이며, 비례하지 않는 조건부 분산(nonproportional conditional variances)을 나타낼 때, 진정한 상호작용 계수만이 특징 공간 전체에서 조건부 잔차 공분산을 대각화한다. 이 방법은 동시계통 야코비안을 포함하는 대각 가우시안 준가능도(quasi-likelihood)를 사용하여 비선형 구조적 평균 함수와 특징 의존 분산을 공동으로 근사한다. 우리는 프로파일링된 모집단 기준의 고유 식별과 양의 정부호 국소 곡률(positive-definite local curvature)을 확립하고, 신경 프로파일 호환 조건 하에서 구현된 신경 기준이 비고유 네트워크 매개변수화에도 불구하고 이 곡률을 상속함을 보인다. 구조 방정식이 관련 개입(intervention) 하에서 불변인 자율적 메커니즘을 나타낼 때, 계수는 인과적 해석을 허용한다. 비선형 고차원 nuisance 함수와 비가우시안 충격을 포함한 몬테카를로 실험은 정보가 증가함에 따라 SEM-DNN이 매개변수적, 커널 기반, 분리 방정식 신경망 대안보다 구조적 효과를 더 신뢰성 있게 복원하지만, 더 큰 계산 비용이 따른다는 것을 보여준다. 즉석식 시리얼 스캐너 데이터에 대한 적용은 이 방법이 동시점 가격-판매 피드백을 연구하고 식별 강도, 잔차 대각화, 분산 보정(calibration), 최적화 민감도를 평가하는 방법을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.