Space-based monitoring of atmospheric carbon dioxide (CO$_2$) constrains the global carbon budget. NASA's Orbiting Carbon Observatory-2 (OCO-2) estimates column-averaged dry-air mole fractions of CO$_2$ (XCO$_2$) from high-resolution spectra, but operational retrievals are computationally expensive and impose stringent Gaussianity assumptions on the retrieved posterior. We present a deep learning framework that addresses both through amortized probabilistic inference. Lacking ground truth for real observations, we train and evaluate on a high-fidelity OCO-2 simulation ensemble with calibrated forward-model errors, comparing against the version-10 operational full-physics retrieval, without its bias correction, on the same radiances. Our architecture encodes each spectral band separately and estimates posteriors of the full CO$_2$ column, or summaries thereof, with Laplace approximations and conditional normalizing flows. Once trained, inference costs milliseconds per sounding rather than minutes. Trained on simulations that explicitly include forward-model discrepancy, our retrievals are more accurate than the operational one for XCO$_2$ on both data partitions we consider, and competitive on profiles. The flow represents asymmetric posteriors that a Gaussian cannot, a gain attributable to shape rather than scale, and its advantage in predictive density persists where its accuracy advantage does not. These results are established on a land-only ensemble against one configuration of the operational algorithm. On held-out reference soundings and two unseen months the XCO$_2$ and density advantages persist. For XCO$_2$, coverage is near nominal on February data and, though below nominal on the unseen months, remains far closer to it than the operational retrieval's.
확률적 프로세스 모델을 위한 신경망 가능도 대체 모델(neural likelihood surrogate, 예: 신경망 비율 추정(Neural Ratio Estimation))은 일반적으로 시뮬레이션된 데이터에 대한 확률적 분류(probabilistic classification)를 통해 학습되며, 이는 대체 모델 품질과 학습 비용 간의 트레이드오프를 강제한다. 정확한 점수(score) $\nabla_θ\log p(x \mid θ)$를 구할 수 있는 구조화된 모델의 경우, 교차 엔트로피 손실에 점수 매칭(score-matching) 항을 추가하여 이 정보를 학습에 반영할 수 있다. 그러나 두 손실 간의 최적 가중치는 사전에 알 수 없으며, 이를 수동으로 선택하려면 비용이 많이 드는 튜닝이 필요해 계산 비용 절감 효과를 상쇄한다. 우리는 손실 기울기(loss gradient)를 기반으로 학습 중에 점수 손실 가중치를 설정하는 적응형, 튜닝이 필요 없는 알고리즘을 제안하며, 이는 표준 분류기 학습에 최소한의 오버헤드만을 추가한다. 우리는 네트워크 동역학과 공간적 프로세스를 다루는 사례 연구를 통해 이 접근법을 평가하였으며, 더 많은 학습 데이터를 생성하는 것보다 훨씬 낮은 계산 비용으로 대체 모델 품질을 향상시킨다는 것을 보였다. 특히, 일부 경우에는 본 접근법이 학습 시간을 1.1배 미만으로 증가시키면서도 학습 데이터를 10배 늘린 것과 동등한 다운스트림 추론(inference) 성능을 달성한다.
본 논문에서는 가능도 함수(likelihood function)의 계산이 다루기 힘들거나(intractable) 연산 비용이 많이 들지만 매개변수 값이 주어졌을 때 출력을 생성하는 것은 간단한 시뮬레이터 모델을 위한 새로운 베이지안 추론(Bayesian inference) 방법인 인과적 사후 확률 추정(Causal Posterior Estimation, CPE)을 제시합니다. CPE는 플로우 매칭(flow matching)을 사용하여 사후 분포(posterior distribution)를 근사하는 동시에, 모델의 그래피컬 표현으로 유도되는 조건부 의존성 구조를 신경망 아키텍처에 직접 통합합니다. 광범위한 실험을 통해 이러한 조건부 의존성을 데이터로부터 학습하도록 요구하는 대신 신경망에 하드코딩함으로써, CPE가 최첨단(SOTA) 베이스라인과 대등하거나 이를 능가하는 매우 정확한 사후 추론을 달성할 수 있음을 입증합니다.
복사 전달 시뮬레이터를 기반으로 학습된 분할 상환 시뮬레이션 기반 추론(SBI)은 제임스 웹 우주망원경(JWST)의 합성 스펙트럼에서 외계 행성 대기를 정확하게 복원하지만, 실제 축소된(reduced) 스펙트럼에서는 붕괴합니다. 실제 WASP-39b 데이터에서 플로우 사후확률이 붕괴하였으며(중요도 샘플링 유효 표본 크기(ESS) = 1, 최적 적합 \c{hi}2/N = 301), 이러한 실패는 대개 순방향 모델의 물리학적 결함 탓으로 여겨집니다. 그러나 중첩 샘플링(nested sampling)을 통해 이러한 요인들(온도 그래디언트, SO2 불투명도, 고충실도 불투명도 세트)을 먼저 배제하더라도 적합도는 변하지 않았으며, 이는 붕괴의 원인이 시뮬레이터의 오지정(misspecification)이 아니라 누락된 잠재 변수인 행성 반지름에 있음을 의미합니다. 이를 해결하기 위해 본 연구에서는 중요도 샘플링과 최적 수송 맵을 사용하여 독립적인 중첩 샘플링 참조에 맞춰 보정된 반지름 증강 플로우 매칭 사후확률인 MIRAGE를 구축했습니다. 이를 통해 실제 WASP-39b에 대해 물리적이고 기존 문헌과 일치하는 대기 회수 결과를 얻었습니다(\c{hi}2/N이 301에서 0.06으로 개선). 동일한 기법이 두 개의 장비와 세 개의 실제 JWST 대상에 걸쳐 변경 없이 전이되었으며, 여기에는 원시 MAST(Mikulski Archive for Space Telescopes) 데이터로부터 종단간(end-to-end) 직접 축소한 단일 스펙트럼도 포함됩니다. 이 교훈은 여러 분야에 걸쳐 적용될 수 있는데, 시뮬레이터가 인코딩하지만 추론 과정에서 생략된 잠재 변수가 모델 오지정으로 오인될 수 있다는 점을 보여줍니다.
기계 학습을 이용한 시뮬레이션 기반 추론(SBI, simulation-based inference)은 과학 및 공학에서 역문제를 해결하는 데 점점 더 중요한 도구가 되고 있으며, 여기에는 매개변수 추론과 검출기 효과의 역변환(inversion)이 포함된다. 본 문서에서는 베이지안 및 빈도주의 통계 프레임워크에 대한 개관을 제공하고, 신경 사후 추정(neural posterior estimation) 및 신경 가능도 추정(neural likelihood estimation)과 같은 기계 학습 기반 SBI 방법이 이러한 프레임워크 내에서 매개변수 추정에 어떻게 사용될 수 있는지 설명하며, 동일한 방법이 경험적 베이즈(Empirical Bayes) 또는 unfolding 작업에도 적용될 수 있음을 보인다. 또한 추론 결과를 검증하는 방법과 기계 학습을 이용한 SBI의 한계에 대해서도 논의한다.
경험적 베이즈(Empirical Bayes, EB)는 많은 관련 잠재 변수에 걸쳐 동시 추론을 수행한다. 고전적 EB는 가능도 p(x | z)가 계산 가능하다고 가정한다. 그러나 많은 과학적 응용에서는 가능도가 시뮬레이터를 통해서만 이용 가능하다. 본 논문은 이러한 암시적(implicit) 가능도에 대한 EB를 개발한다. 우리는 비모수적 EB를 시뮬레이션 기반 추론(SBI)과 연결하는 시뮬레이션 기반 경험적 베이즈(SBEB)를 제안한다. SBEB는 관측 데이터, 시뮬레이터 샘플, 그리고 상각화(amortized) 추론 네트워크를 사용하여 명시적 밀도 없이 EB 추정치를 계산한다. SBEB는 적합된 EB 사전분포를 모집단 사전분포(population prior) 쪽으로 반복적으로 정제한다. 여러 과학적 시뮬레이터와 실세계 데이터를 통해 SBEB가 고정된 사전분포를 사용하는 SBI보다 정확도를 향상시킴을 보여준다.
신경 가능도(neural likelihood) 근사의 이론적 한계를 극복하기 위해, 비정규화 포텐셜을 직접 최적화하고 정규화를 학습 목적함수의 로그-정규화 항으로 흡수시킴으로써 학습 문제가 순볼록(strictly convex)임을 증명한다. 이를 통해 데이터 기반 목적함수의 경험적 최소화자가 표본 크기 증가에 따라 진짜 가능도로 수렴함을 이론적으로 보장하며, 디블러링 및 반도체 도핑 프로파일 추정과 같은 비선형 PDE 기반 베이지안 역문제에서 수치 실험으로 검증한다.
Transformers with Physics-Informed Encodings and Simulation-Based Inference for Robust Detection of Eccentric Binary Black Holes in Pulsar Timing Array Data
펄서 타이밍 배열(PTA) 데이터에서 이심 쌍성 블랙홀의 천체물리학적 매개변수를 효율적으로 추론하기 위해, 중력파(GW) 위상 진화를 위치 인코딩에 직접 내재시킨 물리 정보 기반 트랜스포머(Transformer)와 정규화 흐름(normalizing flow) 기반 시뮬레이션-기반 추론(SBI) 프레임워크를 제안한다. 제안된 방법은 다양한 신호 대 잡음비 환경에서 물리 불가지론적 기준선 대비 향상된 정확도, 더 선명한 사후 분포, 빠른 추론을 달성하며 차세대 PTA 분석을 위한 확장 가능한 대안임을 보인다.
고차원 언빈드 가능도 피팅에서 계통 불확실도 프로파일링의 계산 비용 문제를 해결하기 위해, Factorizable Normalizing Flows를 활용하여 피팅 목표를 스칼라 매개변수에서 다변량 관심 분포(Distribution of Interest)로 확장하는 시뮬레이션 기반 추론(SBI) 프레임워크를 제안한다. 단일 최적화 과정으로 누이선스 매개변수 의존성을 학습하는 분할상환(amortized) 전략과 Poisson-bootstrap 앙상블을 통해 통계적·계통적 불확실도를 동시에 정량화하며, 고에너지 물리학 합성 데이터셋 실험에서 검출기 보정, 미분 단면적 측정, 언폴딩 등 다양한 작업을 단일 프레임워크로 통합할 수 있음을 입증했다.
가능도 함수가 계산 불가능한 시뮬레이터 기반 모델에서의 베이즈 추론을 위해, 스코어 매칭(score matching)과 Langevin dynamics를 결합하고 로그 가능도의 통계적 구조(관측치 간 가산성, Fisher information 항등식)를 구조화된 스코어 네트워크에 내재한 새로운 시뮬레이션 기반 추론(SBI) 방법을 제안한다. 사후 분포 고밀도 영역에 계산을 집중하는 국소화 기법을 추가로 결합하여, 대규모 표본 및 중간 차원 매개변수 공간에서 기존 SBI 방법 대비 통계적 효율성과 계산 확장성 모두에서 동등하거나 우수한 성능을 달성함을 이론적·실증적으로 입증한다.
2020년 독일 COVID-19 ICU 점유 데이터에 맞춘 SECIR 역학 모델의 베이지안 보정에서 MCMC 대신 신경 사후 추정 기반 시뮬레이션 기반 추론(SBI)을 적용해 31일·201일 추론 구간에서 사후 분포와 예측 성능을 비교했다. SBI는 MCMC와 강한 사후 일치를 유지하면서 31일 문제에서 약 1000초 대비 60–70초, 201일 문제에서 19,000초 이상 대비 평균 157초로 계산 시간을 크게 줄였다.
가법 측정 오차로 가려진 잠재 신호의 분포 추정과 개별 노이즈 제거를 위해 convMMD 손실 기반의 가능도 없는(likelihood-free) 시뮬레이션 추론 프레임워크를 제안하며, 관측 데이터 분포를 노이즈 합성곱 모델 분포와 맞춰 잠재 생성 모델을 학습한다. Sobolev 평활도 하에서 유한 표본 경계와 L2 수렴률을 증명해 ordinary-smooth 노이즈에는 다항, super-smooth 노이즈에는 대수적 수렴 특성을 회복한다.
신경망을 활용한 시뮬레이션 기반 추론(SBI)은 인지 모델링 워크플로를 가속하고 변화시켰다. SBI는 모델러가 이전에는 추정하기 어렵거나 불가능했던 복잡한 모델을 적합할 수 있게 하며, 대규모 데이터셋 전반에서도 신속한 추론을 가능하게 한다. 그러나 다양한 모델링 가정을 반복적으로 탐색하는 데 SBI의 유용성은 여전히 제한적이다. 파라미터화, 생성 함수, 사전분포(prior), 설계 변수의 변경은 모두 모델 재학습을 필요로 하여 상각화(amortization)의 이점을 감소시킨다. 이러한 문제를 해결하기 위해, 우리는 인지 모델링을 위한 메타 상각화(meta-amortized) 프레임워크인 CogFormer를 시범적으로 제안한다. 우리 프레임워크는 구조적으로 유사한 모델들의 조합적으로 많은 경우에서도 유효한 트랜스포머 기반 아키텍처를 학습하며, 데이터 유형, 파라미터, 설계 행렬, 표본 크기의 변화를 허용한다. 우리는 이항, 다중 대안, 연속 반응에 대한 의사결정 모델군 전반에서 유망한 정량적 결과를 제시한다. 우리의 평가는 CogFormer가 최소한의 상각화 편차로 모델군 전반에서 파라미터를 정확하게 추정할 수 있음을 시사하며, 이는 인지 모델링 워크플로를 촉진하는 잠재적으로 강력한 엔진이 될 수 있음을 보여준다.
시뮬레이션 기반 추론(SBI)은 특정 모델 오지정 사례에서 전통적인 카이제곱 최소화보다 더 정확한 공진 매개변수 추정치를 산출하는 것으로 나타났으며, 이는 파이-파이 산란과 rho(770) 공진에 대한 사례 연구를 통해 입증되었습니다. 카이제곱 최소화를 사용하여 일부 데이터셋에 적합된 모델은 rho(770)에 대해 부정확한 극 위치를 예측할 수 있는 반면, SBI는 동일한 모델과 데이터에 대해 더 견고한 예측을 제공합니다. 이 결과는 SBI가 모델 오지정을 처리할 수 있다는 개념 증명으로서 의미가 있으며, 파이-파이 산란의 정확한 모델링은 많은 현대 물리 시스템(예: a1(1260), omega(782))의 연구에 필수적이기 때문입니다. 시뮬레이션 기반 추론 방법은 파이-파이 산란과 rho(770) 공진에 대한 사례 연구에서, 특정 모델 오지정 사례에서 전통적인 카이제곱 최소화보다 더 정확한 공진 매개변수 추정으로 이어지는 것으로 나타났습니다. 카이제곱 최소화를 사용하여 특정 데이터셋에 적합된 모델은 rho(770)의 극 위치에 대해 부정확한 예측을 할 수 있습니다. SBI는 극 위치에 대해 더 견고한 예측을 하는 것으로 나타났습니다. 이는 SBI 방법이 모델 오지정 사례에 사용될 수 있다는 개념 증명으로서 의미가 있으며, 파이-파이 산란 모델은 현대의 관심 대상인 많은 물리 시스템(예: a1(1260), omega(782))의 중요한 구성 요소이기 때문입니다.
현재 실험 과학자들은 해석 불가능한 우도를 가진 복잡한 비선형 모델을 역추론하기 위해 시뮬레이션 기반 추론(SBI)에 점점 더 의존하고 있습니다. 그러나 SBI로 얻은 사후 분포 근사는 종종 보정이 잘못되어, 신뢰 영역이 실제 파라미터를 포함하지 못하는 결과를 낳습니다. 우리는 국소적 베이지안 커버리지를 갖는 신뢰 집합을 구축하는 모델에 독립적인 컨포멀 보정 프레임워크인 $\texttt{CP4SBI}$를 개발했습니다. 회귀 트리를 통한 국소 보정과 CDF 기반 보정이라는 제안된 두 가지 변형은 HPD, 대칭, 분위수 기반 영역을 포함한 모든 스코어링 함수에 대해 유한 표본 국소 커버리지를 보장합니다. 널리 사용되는 SBI 벤치마크에 대한 실험은 우리의 접근 방식이 노멀라이징 플로우와 스코어 확산 모델링을 모두 사용하는 신경망 사후 분포 추정기의 불확실성 정량화 품질을 향상시킴을 보여줍니다.