신경망 앙상블을 이용한 연속 측정 데이터 기반 불확실성 정량화 수반 양자 매개변수 추정
Quantum parameter estimation with uncertainty quantification from continuous measurement data using neural network ensembles
한국어 초록
본 논문에서는 딥 앙상블(deep ensemble)이라 불리는 심층 신경망(deep neural network) 앙상블을 활용하여 양자 매개변수 추정(quantum parameter estimation)을 수행하는 동시에, 매개변수 추정치에 대한 불확실성을 정량화할 수 있는 수단을 제공함을 보인다. 이는 매개변수 추정에 베이즈 추론(Bayesian inference)을 사용할 때 얻을 수 있는 핵심적인 이점이나, 기존 머신러닝 기법을 사용할 경우 소실되었던 부분이다. 정확한 매개변수 추정과 잘 보정된(well-calibrated) 불확실성 추정치 모두를 위해 최적화하더라도, 정확도만을 위해 최적화하는 것에 비해 매개변수 추정 성능이 저하되지 않음을 입증한다. 또한 이러한 앙상블 모델의 드리프트 감지 능력을 활용하여 추론 중 사용되는 실험 데이터의 드리프트를 감지할 수 있음을 보인다. 아울러 이 접근 방식은 가능도 기반(likelihood-based) 및 가능도 무관(likelihood-free) 베이즈 추론보다 훨씬 빠른 추론 시간을 제공함을 확인하였다. 이러한 결과는 본 모델들이 불확실성이 정량화된 정확한 실시간 매개변수 추정을 가능하게 하여, 실험 환경 배치를 위한 유망한 후보가 될 수 있음을 시사한다.
원문 초록
We show that ensembles of deep neural networks, called deep ensembles, can be used to perform quantum parameter estimation while also providing a means for quantifying uncertainty in parameter estimates, which is a key advantage of using Bayesian inference for parameter estimation that is lost when using existing machine learning methods. We show that optimizing for both accurate parameter estimates and well calibrated uncertainty estimates does not lead to degradation in the former as opposed to only optimizing for accuracy. We also show that the drift detection capabilities of these ensemble models can be used to detect drift in the experimental data used during inference. This approach is also shown to provide much faster inference time than both likelihood-based and likelihood-free Bayesian inference. These results suggest that such models could enable accurate, real-time parameter estimation with quantified uncertainty, making them promising candidates for deployment in experimental settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
정보 이론적 불확실성 분해의 구조적 한계
Structural Limits of the Information-Theoretic Uncertainty Decomposition
기계학습에서 불확실성 추정(uncertainty estimation)은 일반적으로 표준 정보 이론적 프레임워크를 사용하여 불확실성을 우연적 불확실성(aleatoric uncertainty, AU)과 인식론적 불확실성(epistemic uncertainty, EU)으로 분해합니다. 그러나 실제로는 두 가지 중대한 문제인 얽힘(entanglement, AU와 EU 간의 높은 상관관계)과 인식론적 붕괴(epistemic collapse, 모델 용량이 증가함에 따라 EU의 크기가 축소되는 현상)가 발생합니다. 본 연구는 이 프레임워크를 함수 수준에서 분석하여, 가정된 AU와 EU 범위의 상당 부분이 유한한 환경에서는 실현 불가능하며 어떠한 클래스 확률로도 도달할 수 없음을 발견했습니다. 우리는 이러한 실현 불가능한 영역이 클래스 수 및 몬테카를로 표본 수 $N$($N$개의 멤버를 가진 앙상블 등)에 따라 어떻게 스케일링되는지 특성화하며, 해당 영역이 $\text{AU} \leq \log(2)/N$으로 제한됨을 밝힙니다. 결정적으로, 이 실현 불가능한 영역의 경계는 인식론적 붕괴를 설명하는 데 도움이 됩니다. 즉, 모델 확신도가 높을 때 이러한 근본적인 구조적 한계로 인해 $\text{AU} > \text{EU}$가 필연적으로 보장됩니다. 우리의 연구 결과는 앙상블 크기를 늘리면 실현 불가능한 영역이 줄어들어 인식론적 붕괴가 완화됨을 보여줍니다. 마지막으로, $\text{AU} \leq \log(2)/N$일 때 AU와 EU가 결합(coupled)되어 있음을 증명하였으므로, 낮은 AU 영역에서 이 둘을 독립적인 양으로 해석하는 것에 주의를 당부합니다.
움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증
Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
FREESIA: 표현력 있고 확장 가능한 데이터 동화를 위한 공분산 인식 사후 수송
FREESIA: Covariance-Aware Posterior Transport for Expressive and Scalable Data Assimilation
데이터 동화(Data assimilation)는 관측 데이터를 기반으로 복잡한 동적 시스템의 상태를 추론(inference)하는 것을 목표로 합니다. 그러나 고차원 및 희소 관측 조건에서는 비선형 또는 비단사(non-injective) 관측 연산자로 인해 유도되는 다봉(multimodal) 사후확률을 정확하게 추론하는 것이 여전히 주요한 과제로 남아 있습니다. 앙상블(ensemble) 필터는 고차원으로 확장 가능하지만 제한적인 분포 가정에 얽매여 있으며, 무학습(training-free) 생성형 필터(예: EnSF, EnFF)는 이러한 한계를 완화하지만 희소 관측 상황에서 구조적 오류를 유발하고 정보 전파를 저해할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 무학습 방식의 점근적으로 정확한 사후 수송(posterior transport) 방법을 제안합니다. 먼저, 예측 교차 공분산(cross-covariance)을 흐름 기반(flow-based) 수송에 임베딩하여 비가우시안(non-Gaussian) 사후 구조를 보존하면서 관측되지 않은 상태를 정확하게 복원하는 공분산 인식(covariance-aware) 사후 수송 체계를 설계합니다. 나아가, 이 방법은 다루기 쉬운 관측 적응형 제안 분포와 사후 보정을 결합하여 비선형 사후 분포의 정확한 근사를 보장합니다. 마지막으로, 우리는 해당 사후 흐름 이론을 정립하고, 이를 통해 유한 앙상블 대리 모델 대비 제안된 방법의 점근적 정확성과 바서슈타인(Wasserstein) 오차 한계를 도출합니다. Double-Well, Lorenz-96, 그리고 Kolmogorov 흐름에 대한 실험은 제안된 방법이 복잡한 사후 구조를 포착하고 희소, 비선형, 비단사 관측 조건에서도 정확성을 유지함을 보여줍니다. 특히 희소 비단사 설정에서는 최고 성능의 기준선(baseline) 대비 RMSE를 56% 감소시킵니다.
Verbalized Particle Posterior: 자연어 가설에 대한 베이지안 추론
Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses
언어화된 머신러닝(VML)은 LLM이 f(x; θ)로 평가하는 자연어 프롬프트로 모델을 매개변수화한다. 이 프레임워크는 해석 가능하지만, 불확실성에 대한 측도 없이 단일 가설에 고정되며, 동일한 데이터에 대한 최적화 실행마다 그 가설이 크게 달라진다. 우리는 언어화된 학습을 베이지안 추론 문제로 다루는 Verbalized Particle Posterior(VPP)를 제안한다. 자연어 가설의 집단을 입자로 유지하고, Metropolis-Hastings(VPP-MH) 또는 Sequential Monte Carlo(VPP-SMC)로 갱신하며, 베이지안 모델 평균화로 예측한다. 두 알고리즘 모두 LLM을 블랙박스로 취급하며, logits나 gradient에 접근할 필요가 없다. 독특한 결과가 뒤따른다. 고전적 베이지안 학습에서는 모델 선택이 사후분포 밖에 있지만, VPP에서는 모델 구조와 매개변수가 단일 언어 공간을 공유하며, 사후분포가 둘 다에 걸쳐 분포한다. 우리는 회귀, 분류, 규칙 발견 벤치마크에서 VPP를 평가한다. 모든 벤치마크에서 단일 VML 실행보다 개선되며, 대부분에서 독립적 VML 실행들의 오라클 최적 앙상블과 동등하거나 그를 초과하고, VML이 가끔 발생시키는 치명적인 단일 실행 실패를 제거한다. 각 입자가 사람이 읽을 수 있는 가설이므로, 사후분포 자체가 독자가 검사할 수 있는 대상이 되어, 데이터가 어떤 설명을 지지하고 어떤 것을 배제했는지 평문으로 확인할 수 있다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
토론
이 논문과 연결된 포럼 글이 아직 없습니다.