SPADE: 구조 사전정보 적응형 결정 추정
SPADE: Structure-Prior Adaptive Decision Estimation
한국어 초록
보존 법칙, Hamiltonian 형식, 대칭과 같은 물리 구조 사전정보(prior)는 올바를 때 과학적 기계학습(scientific machine learning)을 개선할 수 있지만, 잘못 명시되면 예측을 악화시킬 수 있다. 기존 방법은 보통 선택된 구조를 강제하거나 부드러운 페널티를 조정하지만, 사전정보를 부과할지 여부, 얼마나 강하게 부과할지, 어떤 사전정보를 사용할지, 후보 법칙의 어떤 부분집합이 성립하는지를 결정하는 보정된 규칙 없이 수행한다. 우리는 이 문제를 비제약 추정량(unconstrained estimator)의 구조 위반 블록에 대한 수축(shrinkage)으로 다루는 폐형식(closed-form) 프레임워크인 SPADE(Structure-Prior Adaptive Decision Estimation)를 제안한다. SPADE는 하나의 정확한 명세 검정(specification test)과 하나의 추정량(estimand)을 사용한다. 검정은 데이터가 사전정보를 뒷받침하는지 결정하고, Stein-불편 James-Stein 수축은 $O(σ^2/n)$ 오라클 보장으로 강제 강도를 설정하며, 게이트(gate)는 검정이 이를 인증할 때만 하드 사전정보에 확정(commit)한다. 동일한 검정은 비중첩 제약 패밀리에서 부분집합 발견을 위한 일관된 중첩 구조 선택과 Benjamini-Hochberg 통제를 제공한다. 선형 부분공간 사전정보, 저수지 보존 법칙, Duffing 역학에 대한 비선형 Hamiltonian 사전정보에 걸쳐 SPADE는 오라클을 추적하고, 신경망 기준선(baseline)을 능가하며, 올바른 사전정보 regret을 $10.3\%$에서 $2.6\%$로 줄이고, 풀이 횟수의 $1/71$로 교차 검증(cross-validation)과 일치하며, 정확한 구조를 $100\%$ 정확도로 선택하고, 통제된 false relaxation으로 부분 법칙을 복원한다.
원문 초록
Physical-structure priors such as conservation laws, Hamiltonian forms, and symmetries can improve scientific machine learning when correct, but can degrade predictions when misspecified. Existing methods usually enforce a chosen structure or tune a soft penalty, without a calibrated rule for deciding whether to impose a prior, how strongly to impose it, which prior to use, or which subset of candidate laws holds. We introduce SPADE, Structure-Prior Adaptive Decision Estimation, a closed-form framework that treats this problem as shrinkage of the structure-violating block of an unconstrained estimator. SPADE uses one exact specification test and one estimand: the test decides whether the prior is supported by data, Stein-unbiased James-Stein shrinkage sets the enforcement strength with an $O(σ^2/n)$ oracle guarantee, and a gate commits to the hard prior only when the test certifies it. The same test yields consistent nested structure selection and Benjamini-Hochberg control for subset discovery in non-nested constraint families. Across a linear-subspace prior, a reservoir conservation law, and a nonlinear Hamiltonian prior on Duffing dynamics, SPADE tracks the oracle, beats a neural-network baseline, reduces correct-prior regret from $10.3\%$ to $2.6\%$, matches cross-validation with $1/71$ of the solves, selects the correct structure with $100\%$ accuracy, and recovers partial laws with controlled false relaxation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.23219v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
쌍별 융합 멀티태스크 회귀
Multitask Regression with Pairwise Fusion
예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.
매끄러운 가법 모델에서의 자동 매듭 선택
Automatic knot selection in smooth additive models
B-스플라인 회귀는 비모수 모델링을 위한 널리 사용되는 프레임워크이다. 이 방법론의 성능은 추정 과정 이전에 변화점(changepoint), 즉 매듭(knot)의 개수와 위치를 지정하는 것에 달려 있다. 이러한 매듭 시퀀스는 회귀 함수를 표현하는 데 사용되는 B-스플라인 기저(basis)의 차원과 추정해야 할 계수의 개수를 결정한다. 따라서 매듭 선택은 모델의 유연성에 영향을 미치며, 매끄러움과 적합도(goodness-of-fit)에 영향을 준다. 전통적으로 이 문제는 매듭 선택 알고리즘을 통해 매듭을 명시적으로 선택하거나, P-스플라인과 같이 회귀자의 매끄러움을 자동으로 조정하는 정규화(regularization) 방법으로 해결해 왔다. 후자는 일반화 가법 모델(GAM)에서 표준이 되었다. 반면, 계산적 또는 모델링상 한계로 인해 종종 간과되는 매듭 선택 기법은 일부 맥락에서 유용할 수 있는 특정 장점을 제공한다. 본 연구에서는 적응형 스플라인(A-splines) 매듭 선택 방법론의 확장에 기반하고, 관련 매개변수 조정을 위해 맞춤형 Fellner-Schall 방식을 결합한 GAM을 위한 새로운 명시적 매듭 선택 기법을 제안한다. 제안 방법은 다양한 합성 및 실제 데이터셋(dataset)에서 평가되었으며, P-스플라인 및 최신 매듭 선택 기법과 비교되었다. 결과는 유사한 성능을 보이면서, 훨씬 적은 수의 기저 원소로 구성된 모델(model)을 생성함을 나타낸다.
복소 Helmholtz 파동장을 위한 연산자 정보 가우시안 프로세스: 합성 벤치마크에서 생체 뇌 탄성영상까지
Operator-Informed Gaussian Processes for Complex Helmholtz Wavefields: From Synthetic Benchmarks to In Vivo Brain Elastography
Helmholtz 방정식은 시간-조화 파동 전파를 지배하며, 감쇠 매질에서는 복소 탄성 계수로 인해 파수의 제곱 $κ^2$가 복소수가 된다. 희소하고 노이즈가 많은 데이터로부터 이러한 장을 추론하려면 자신의 불확실성까지 정량화하는 솔버가 필요하다. 물리 정보 가우시안 프로세스(GP) 회귀는 해에 대한 사후분포를 반환함으로써 이를 제공하지만, 연산자 조건 공식화는 거의 전적으로 실수값 장에 대해서만 개발되어 왔다. 우리는 복소 연산자를 등가의 결합된 실수 블록으로 실수화(realify)함으로써 연산자 정보 GP 회귀를 복소값 Helmholtz 문제로 확장하고, 이를 통해 표준 실수값 GP 조건화로 추론을 가능하게 한다. 이 구성은 적절한(proper) 대각 사전분포부터 공영역화(coregionalized) 및 다중 스케일 변형까지 일련의 사전분포를 허용하며, PDE 잔차와 경계 trace에 조건을 건다. 1차원에서 3차원까지의 벤치마크 문제에서, 이 솔버는 훨씬 작은 내부 제약 예산(interior-constraint budget)으로 유한차분법 및 신경망 베이스라인과 경쟁력을 보인다. 그러한 확정적 베이스라인과 달리, 점 추정이 아니라 복소 파동장에 대한 사후분포를 반환한다. 생체(in vivo) 뇌 자기공명 탄성영상에 적용하면, 적절한 다중 스케일 사전분포가 전단 curl 장을 측정값과 상관계수 0.77로 재구성하여 0.75 목표를 넘는다. 이 성능 향상은 실수-허수 결합이 아니라 다중 스케일 커널에서 비롯된다. 또한 모델 불일치(model mismatch)에 의해 설정된 저주파 정확도 상한과 아직 보정되지 않은 사후 불확실성을 확인한다. 따라서 보정된 불확실성은 감쇠 매질에서 확률적 파동장 추론을 위한 핵심 다음 단계로 부상한다.
준모수 추정에서 블랙박스 학습기의 최적 활용
Optimal use of a black-box learner in semiparametric estimation
부분 선형 모델 $Y = μ_0(X) + β_0 \cdot T + \varepsilon$ 및 $T = π_0(X) + u$를 구조 비의존(structure-agnostic) 설정에서 고려한다. 여기서 $μ_0$와 $π_0$의 구조는 알 수 없으며, 방해 요인(nuisance)들은 블랙박스 가설 클래스(black-box hypothesis class)로 추정한다. 해당 클래스의 학습 가능성(learnability)은 모델 오지정(model misspecification)이 없을 때의 추정 오차 $δ_s$와, $μ_0$ 및 $π_0$에 대한 각각의 $L_2$ 오지정 오차 $δ_{a, μ}$, $δ_{a, π}$로 특성화된다. 목표 선형 계수 $θ_0 = β_0$에 대한 새로운 추정량을 제안하며, 오차율은 \[ \frac{1}{\sqrt{n}} + δ_{a, μ} \cdot δ_{a, π} + [δ_s]^2. \] 대응하는 하한(lower bound)도 증명되어, 이 수렴률은 더 이상 개선할 수 없음을 의미한다. 이중 머신러닝(double machine learning, DML)이 산출하는 곱 형태의 수렴률과 비교하면, 우리의 추정량은 추가 비용이나 가정 없이 차선(suboptimal) 항 $\max(δ_{a, μ}, δ_{a, π})\cdot δ_s$를 제거한다. 기저 통찰에 기반하여—이는 단일 학습기(one-learner) 설정이나 부분 선형 모델에 국한되지 않는다—Transductive Adversarial Moment-calibrated Editing(TAME)을 제안한다. TAME는 추론(inference) 표본에서 블랙박스 회귀 추정치가 유도하는 편향 제거(debiasing) 가중치를 적대적 조건부 모멘트 보정(adversarial conditional moment calibration)을 통해 국소적으로 편집한다. TAME는 임의의 초기 블랙박스 추정치와 결합할 수 있으며, 방해 요인의 난이도가 불균형할 때 DML 보장을 엄밀히 개선할 수 있다. TAME가 도입한 이점을 완전히 활용하는 방법을 논의한다. 여기에는 두 학습기(two learners) 사용의 이득, 모델 선택을 위한 결과적 과소평활(under-smoothing) 원칙, 기타 선형 함수형 추정 문제로의 확장이 포함된다.
PRIME-SVR: 태아 T2 매핑을 위한 물리 정보 기반 암시적 다중 에코 슬라이스-볼륨 재구성
PRIME-SVR: Physics-infoRmed Implicit Multi-Echo Slice-to-Volume Reconstruction for Fetal T2 mapping
슬라이스-볼륨 재구성(SVR)은 여러 방향으로 획득된 움직임으로 손상된 2D MRI 슬라이스 스택으로부터 고해상도(HR) 3D 태아 뇌 볼륨을 얻는 표준 방법이다. 기존 SVR 방법은 임상 범위의 에코 시간(TE)에 대해서만 최적화 및 검증되어, 비임상 TE에서의 사용을 제한하고, 다중 TE에 걸친 HR 재구성을 요구하는 태아 뇌 성숙의 프로토콜 및 센터 독립적 바이오마커인 정량적 T2 매핑과 호환되지 않게 한다. 우리는 다중 에코 MRI로부터의 공동 HR 재구성을 위한 최초의 암시적 신경 표현(INR) 프레임워크인 PRIME-SVR을 제안한다. 단일 완전 연결 네트워크는 공간 좌표에서 TE에 걸친 신호 강도로의 연속 함수를 모델링하고, 두 번째 네트워크는 슬라이스별 획득 열화를 추정한다. TE 간 일관성은 예상 T2 감쇠로부터의 편차에 페널티를 부과하는 Bloch 방정식 유도 정규화를 통해 강제되며, 열화된 스택에 대해 결합을 강화하는 적응적 가중치를 사용한다. 이 방법은 완전 자기지도(self-supervised) 방식이다. 우리는 두 센터, 두 벤더, 두 자기장 강도(1.5 T 및 0.55 T)에서 39건의 in vivo 태아 획득(13명의 대상자 x 3 TE)에 대해 PRIME-SVR을 검증한다. 최신 SVR과 비교하여 PRIME-SVR은 재구성 선명도를 47%, 해부학적 정확도를 30%, TE 간 구조적 일관성을 14% 향상시킨다. 이는 이전에 SVR로 접근할 수 없었던 후기 TE에서의 재구성을 가능하게 하여, 0.55 T에서 최초의 0.8 mm 등방성 T2 맵과 INR 기반 SVR에서 파생된 최초의 T2 맵을 산출한다. PRIME-SVR은 또한 다중 TE 재구성에 필요한 데이터를 줄여 정량 영상을 가속하며, 획득 시간을 15분에서 10분으로 단축하면서 백질 및 깊은 회백질에서 T2 정확도를 1.7% 이내로 유지하거나, 고품질 획득의 경우 5분으로 단축하면서 평균 T2 오차 2.3%를 달성한다.
비대칭 쌍선형 요인 분석기의 절약적 혼합 모형
Parsimonious Mixtures of Skewed Bilinear Factor Analyzers
비대칭 무작위 행렬을 군집화하는 혼합 모형은 차원 축소를 수행하지 않을 경우 과매개변수화 문제를 자주 겪을 수 있다. 쌍선형 요인 분석기를 사용하더라도, 군집 간 매개변수에 제약을 가함으로써 추가적인 매개변수 축소를 달성할 수 있다. 본 원고에서는 비대칭 행렬 변량 쌍선형 요인 분석기 혼합 모형에 대한 256개 모형으로 구성된 절약적 모형군을 제안하며, 특히 skew-t 분포의 경우를 다룬다. 매개변수 추정을 위한 AECM 알고리즘이 상세히 논의된다. 또한 광범위한 시뮬레이션이 수행되었으며, 본 방법은 MNIST 데이터셋과 Olivetti faces 데이터셋에 적용된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.