한국어 초록
현대의 다변량 회귀 문제는 회귀 효과가 비선형적이고 이질적이며 결과별로 상이할 뿐만 아니라, 결과 간 잔차 의존성 또한 과학적으로 의미 있는 여러 연관된 결과 변수를 포함한다. 기존의 다변량 베이지안 트리 기반 방법들은 이 문제의 일부만을 다루는 경향이 있다. 일부 방법은 결과 간에 트리 구조의 상당한 공유를 강제하여, 반응 변수가 서로 다른 예측 변수 또는 효과 수정 변수에 의존하는 경우 지나치게 제한적이며, 다른 방법들은 잔차 의존성을 수용하지만 더 단순한 평균 구조를 유지한다. 본 논문은 유연한 결과별 계수 면(coefficient surface)과 희소 잔차 정밀도 행렬을 공동으로 모델링하는 다변량 가변계수 베이지안 가법 회귀 트리(BART) 프레임워크인 multiVCBART를 개발한다. 계수 행렬 $B(x)$의 각 원소는 독립적인 BART 앙상블로 표현되어, 예측 변수 효과가 결과 전반에 걸쳐 수정 변수 $x$에 따라 비선형적으로 변할 수 있도록 하며, 정밀도 행렬 $\Omega$에 대한 그래프 Horseshoe 사전분포는 간결한 잔차 조건부 의존성을 포착한다. 효율적인 계산을 가능하게 하기 위해, 다변량 가우시안 가능도를 일련의 스칼라 의사 반응(pseudo-response) 업데이트로 축소하여 트리 역적합(backfitting)을 그래프 Horseshoe 단계로부터 분리하는 샘플러를 도입한다. 이론적으로, 공동으로 추정된 잔차 의존성을 갖는 다변량 BART 모델에 대한 최초의 사후 수축률(posterior contraction rate)을 확립하고, 내재된 평활성 및 구조적 희소성에 대한 준최소최대(near-minimax) 적응을 증명한다. 실증적으로, multiVCBART는 희소하고 고차원인 데이터셋에서 기존 다변량 트리 모델 및 베이지안 SUR(Seemingly Unrelated Regressions) 경쟁 방법들을 능가한다. 마지막으로, 암에서의 약물 감수성 유전체학(Genomics of Drug Sensitivity in Cancer) 데이터셋의 재분석에서, 제안된 방법은 뚜렷한 바이오마커(biomarker) 신호를 식별하고 일관된 잔차 약리학적 네트워크를 복원한다.
원문 초록
Modern multivariate regression problems involve several related outcomes whose regression effects are not only nonlinear, heterogeneous, and outcome-specific, but also where the residual dependence among outcomes is scientifically meaningful. Existing multivariate Bayesian tree-based methods typically address only part of this problem: some impose substantial sharing of tree architecture across outcomes, which is overly restrictive when responses depend on distinct predictors or effect modifiers, while others accommodate residual dependence but retain simpler mean structures. This paper develops multiVCBART, a multivariate varying-coefficient Bayesian additive regression tree framework that jointly models flexible outcome-specific coefficient surfaces and a sparse residual precision matrix. Each entry of the coefficient matrix $B(x)$ is represented by an independent BART ensemble, allowing predictor effects to vary nonlinearly with modifiers $x$ across outcomes, while a Graphical Horseshoe prior on the precision matrix $Ω$ captures parsimonious residual conditional dependence. To permit efficient computation, we introduce a sampler that reduces the multivariate Gaussian likelihood to a sequence of scalar pseudo-response updates, decoupling the tree backfitting from the Graphical Horseshoe step. Theoretically, we establish the first posterior contraction rates for a multivariate BART model with jointly estimated residual dependence, proving near-minimax adaptation to underlying smoothness and structural sparsity. Empirically, multiVCBART outperforms existing multivariate tree models and Bayesian SUR competitors on sparse, high-dimensional datasets. Finally, in a re-analysis of the Genomics of Drug Sensitivity in Cancer dataset, our method identifies distinct biomarker signals and recovers a coherent residual pharmacologic network.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29114v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공간 및 네트워크 객체를 활용한 덧셈 비모수적 회귀
Additive Nonparametric Regression with Spatial and Network Objects
본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
Verbalized Particle Posterior: 자연어 가설에 대한 베이지안 추론
Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses
언어화된 머신러닝(VML)은 LLM이 f(x; θ)로 평가하는 자연어 프롬프트로 모델을 매개변수화한다. 이 프레임워크는 해석 가능하지만, 불확실성에 대한 측도 없이 단일 가설에 고정되며, 동일한 데이터에 대한 최적화 실행마다 그 가설이 크게 달라진다. 우리는 언어화된 학습을 베이지안 추론 문제로 다루는 Verbalized Particle Posterior(VPP)를 제안한다. 자연어 가설의 집단을 입자로 유지하고, Metropolis-Hastings(VPP-MH) 또는 Sequential Monte Carlo(VPP-SMC)로 갱신하며, 베이지안 모델 평균화로 예측한다. 두 알고리즘 모두 LLM을 블랙박스로 취급하며, logits나 gradient에 접근할 필요가 없다. 독특한 결과가 뒤따른다. 고전적 베이지안 학습에서는 모델 선택이 사후분포 밖에 있지만, VPP에서는 모델 구조와 매개변수가 단일 언어 공간을 공유하며, 사후분포가 둘 다에 걸쳐 분포한다. 우리는 회귀, 분류, 규칙 발견 벤치마크에서 VPP를 평가한다. 모든 벤치마크에서 단일 VML 실행보다 개선되며, 대부분에서 독립적 VML 실행들의 오라클 최적 앙상블과 동등하거나 그를 초과하고, VML이 가끔 발생시키는 치명적인 단일 실행 실패를 제거한다. 각 입자가 사람이 읽을 수 있는 가설이므로, 사후분포 자체가 독자가 검사할 수 있는 대상이 되어, 데이터가 어떤 설명을 지지하고 어떤 것을 배제했는지 평문으로 확인할 수 있다.
복소 Helmholtz 파동장을 위한 연산자 정보 가우시안 프로세스: 합성 벤치마크에서 생체 뇌 탄성영상까지
Operator-Informed Gaussian Processes for Complex Helmholtz Wavefields: From Synthetic Benchmarks to In Vivo Brain Elastography
Helmholtz 방정식은 시간-조화 파동 전파를 지배하며, 감쇠 매질에서는 복소 탄성 계수로 인해 파수의 제곱 $κ^2$가 복소수가 된다. 희소하고 노이즈가 많은 데이터로부터 이러한 장을 추론하려면 자신의 불확실성까지 정량화하는 솔버가 필요하다. 물리 정보 가우시안 프로세스(GP) 회귀는 해에 대한 사후분포를 반환함으로써 이를 제공하지만, 연산자 조건 공식화는 거의 전적으로 실수값 장에 대해서만 개발되어 왔다. 우리는 복소 연산자를 등가의 결합된 실수 블록으로 실수화(realify)함으로써 연산자 정보 GP 회귀를 복소값 Helmholtz 문제로 확장하고, 이를 통해 표준 실수값 GP 조건화로 추론을 가능하게 한다. 이 구성은 적절한(proper) 대각 사전분포부터 공영역화(coregionalized) 및 다중 스케일 변형까지 일련의 사전분포를 허용하며, PDE 잔차와 경계 trace에 조건을 건다. 1차원에서 3차원까지의 벤치마크 문제에서, 이 솔버는 훨씬 작은 내부 제약 예산(interior-constraint budget)으로 유한차분법 및 신경망 베이스라인과 경쟁력을 보인다. 그러한 확정적 베이스라인과 달리, 점 추정이 아니라 복소 파동장에 대한 사후분포를 반환한다. 생체(in vivo) 뇌 자기공명 탄성영상에 적용하면, 적절한 다중 스케일 사전분포가 전단 curl 장을 측정값과 상관계수 0.77로 재구성하여 0.75 목표를 넘는다. 이 성능 향상은 실수-허수 결합이 아니라 다중 스케일 커널에서 비롯된다. 또한 모델 불일치(model mismatch)에 의해 설정된 저주파 정확도 상한과 아직 보정되지 않은 사후 불확실성을 확인한다. 따라서 보정된 불확실성은 감쇠 매질에서 확률적 파동장 추론을 위한 핵심 다음 단계로 부상한다.
신경 특징 거버넌스: Atom Prevalence 확장
Neural Feature Governance: Extending Atom Prevalence
신경망 압축과 해석 가능성은 현대 딥러닝에서 여전히 남아 있는 과제이며, 수십억 개의 매개변수를 갖는 아키텍처는 인상적인 정확도를 제공하지만 그 대가로 투명성, 계산 효율성, 신뢰할 수 있는 불확실성 정량화를 희생한다. 본 논문은 순전파 신경망에서 구조화된 노드 수준 모델 선택을 위한 원칙적인 베이지안 프레임워크인 Neural Atom Prevalence(NAP)를 제안한다. NAP는 신경 원자(activation unit)를 도입하며, 4단계 파이프라인을 통해 작동하는 하이브리드 방법이다: Iterative Magnitude Pruning(IMP)을 통한 Bayesian Lottery Ticket(BLT) 식별, Spike and Slab Independent Gaussian(SS-IG) 모델의 소프트 변분 학습, Poisson-Binomial(PB) 최적 층 크기 선택, 그리고 희소하고 안정적이며 해석 가능하고 정확한 모델을 생성하기 위한 베이지안 미세조정. 시뮬레이션된 비선형 회귀, 두 개의 UCI 벤치마크 데이터셋(Concrete, YearPredictionMSD), MNIST 이미지 분류 과제에 걸친 광범위한 실증 검증은 NAP가 최첨단 구조적 희소성을 달성함을 보여주며, MNIST에서는 활성 노드를 원래 밀집 아키텍처의 8%까지 줄이면서 확률적으로 잘 보정된다. 알레아토릭-인식론적(aleatoric-epistemic) 불확실성 분해는 모든 실험에서 모델 무지(model ignorance)가 총 예측 분산의 3~4%만을 차지함을 밝히고, 회귀 신뢰성 다이어그램은 거의 명목적인 예측 구간 커버리지(95% 목표 대비 93.4% 관측)를 확인한다. 이러한 결과는 NAP를 베이지안 신경망에서 희소성, 정확도, 해석 가능성, 불확실성 정량화를 동시에 추구하는 문제에 대한 신뢰할 수 있고 이론적으로 정당화되며 계산적으로 다루기 쉬운 해법으로 확립한다.
위성 탑재 SAR 영상에서 RCS 모델링을 위한 딥 시그마 포인트 프로세스
Deep Sigma Point Processes for RCS Modeling in Spaceborne SAR Imagery
레이더 단면적(RCS) 모델링은 위성 탑재 레이더 시스템의 활용도와 민감도를 향상시키는 데 기초적이다. 본 연구는 208,191척의 검증된 선박을 포함하는 RADARSAT-2 데이터셋을 사용하여 합성개구레이더(SAR) 영상에서 RCS를 예측하기 위한 딥 시그마 포인트 프로세스(DSPP) 모델을 제안한다. DSPP 모델은 예측 정확도를 추구할 뿐만 아니라, 레이더 신호, 선박 파라미터, 환경 조건 간의 복잡한 관계에 내재된 불확실성을 특성화한다. 정적 파라미터를 갖는 결정론적 방정식에 의존하는 기존 접근법과 달리, DSPP는 계층적 가우시안 프로세스 프레임워크와 베이지안 추론을 사용하여 RCS 예측의 변동성과 불확실성을 포착한다. 단일 추정치가 아닌 예측 분포를 생성함으로써, 모델은 레이더 반사 신호를 지배하는 복잡한 역학을 반영한다. 자동 관련성 결정(ARD)을 갖는 Matérn 커널을 사용하여 DSPP는 레이더, 운용, 환경 영역 전반에 걸쳐 중요 특징을 식별하고 순위를 매겨 투명성과 해석 가능성을 지원한다. 성능 평가 결과, 모델은 선형 회귀 기준선 대비 우수함을 보였으며, 테스트 데이터에서 제곱근 평균 제곱 오차(RMSE) 20.83% 감소, R² 25.89% 증가, 잔차 사분위 범위와 중앙절대편차(MAD) 모두 44.4% 감소를 달성했다. 보정된 불확실성 경계를 제공함으로써 DSPP는 예측 신뢰성을 향상시키고 견고한 의사결정을 지원한다. 본 연구는 복잡한 현상에 내재된 불확실성을 통합하는 확률적 모델로의 전환을 나타낸다. 고정된 방정식에서 결과에 대한 분포로 전환함으로써 DSPP는 RCS 거동에 대한 더 깊은 이해를 촉진하고 동적 환경에서 시스템이 효과적으로 작동할 수 있게 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.