arXiv:2402.15406

Conformalized-DeepONet: A Distribution-Free Framework for Uncertainty Quantification in Deep Operator Networks

Christian Moya, Amirhossein Mollaali, Zecheng Zhang, Lu Lu, Guang Lin

제출 2024-02-23

원문 초록

In this paper, we adopt conformal prediction, a distribution-free uncertainty quantification (UQ) framework, to obtain confidence prediction intervals with coverage guarantees for Deep Operator Network (DeepONet) regression. Initially, we enhance the uncertainty quantification frameworks (B-DeepONet and Prob-DeepONet) previously proposed by the authors by using split conformal prediction. By combining conformal prediction with our Prob- and B-DeepONets, we effectively quantify uncertainty by generating rigorous confidence intervals for DeepONet prediction. Additionally, we design a novel Quantile-DeepONet that allows for a more natural use of split conformal prediction. We refer to this distribution-free effective uncertainty quantification framework as split conformal Quantile-DeepONet regression. Finally, we demonstrate the effectiveness of the proposed methods using various ordinary, partial differential equation numerical examples, and multi-fidelity learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 regression, Uncertainty Quantification, Prediction

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2609.26951v1math.ST공통 태그 regression, Uncertainty Quantification, Conformal Prediction

순차적 모델 학습에서의 롤링 컨포멀 예측

Rolling Conformal Prediction in Sequential Model Training

우리는 순차적 모델 학습(sequential model training) 환경을 위한 분포 무관(distribution-free) 예측 추론 방법인 롤링 컨포멀 예측(Rolling Conformal Prediction, rolling-CP)을 소개한다. 구체적으로, 데이터 스트림 $(X_1,Y_1),(X_2,Y_2),\dots$가 주어졌을 때, 각 시점 $n$에서 학습된 모델은 관측된 이력 $\{(X_i,Y_i)\}_{i<n}$에 의존할 수 있다. 이러한 설정은 대규모 데이터셋에 대한 단일 패스(one-pass) 학습, 그리고 배포 중 언어 모델의 지속적 미세조정 또는 테스트 시점 적응(test-time adaptation)을 포함한 현대의 순차적 학습에서 자연스럽게 나타난다. Rolling-CP는 먼저 새로 들어오는 각 관측값을 현재 예측기에 대해 보정(calibration)한 다음, 이를 이후의 학습에 편입시킨다(roll into). 이를 통해 데이터 분할이 필요하지 않게 된다. 놀랍게도, 시점 $n=1,2,\dots$의 모델들이 서로 완전히 다른 특성과 정확도 수준을 가질 수 있음에도 불구하고, 교환 가능(exchangeable) 데이터에 대해서는 안정성에 대한 어떠한 가정이나 모델 학습 과정에 대한 어떠한 제약 없이도 주변 커버리지(marginal coverage) 보장을 확립할 수 있으며, 이는 익숙한 보편적인 2배 인자 보장(목표 수준 $1-\alpha$ 대비 최악의 경우 $1-2\alpha$ 커버리지를 보장)의 형태를 띤다. i.i.d. 데이터 스트림의 경우, 시간에 대해 균등하게(uniformly) 성립하는 고확률 학습 조건부(training-conditional) 유효성을 추가로 증명하며, 안정성 조건 하에서는 커버리지 보장이 $1-\alpha$에 가까워지도록 더욱 정교해진다. 순차 회귀, 다중 클래스 SGD, 단일 패스 신경망 학습에 대한 수치 실험은 rolling-CP의 실용적 효과를 추가로 보여준다.

arXiv:2610.02975v2cs.AI공통 태그 Uncertainty Quantification, Conformal Prediction

불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화

Reliable Self-Evolution with Imperfect Proxy Rewards

대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.

arXiv:2609.27179v2math.ST공통 태그 Uncertainty Quantification, Conformal Prediction

컨포멀 마팅게일을 이용한 분포 무관 순차적 변화 탐지의 최적성

Optimal distribution-free sequential change detection with conformal martingales

본 연구는 변화 전후의 분포가 알려져 있지 않으며 \emph{전혀 제한되지 않은} 독립 관측치에 대한 분포 무관 순차적 변화점 탐지라는 어려운 문제를 다룬다. 20년 넘게 이 문제의 주된 기존 해법은 Vovk의 컨포멀 검정 마팅게일과 이에 연관된 e-탐지기를 사용해 왔으며, 이들은 각각 오경보 확률(PFA)과 평균 실행 길이(ARL)를 제어한다. 이러한 연구 대부분은 타당성에 초점을 맞추고 있으며, 통계적 효율성은 대체로 시뮬레이션에 맡겨져 왔다. 본 논문은 알려지지 않은 시점 $T$에 변화점이 있는 비교환 가능 데이터에서 컨포멀 p-값이 어떻게 거동하는지에 대한 포괄적인 이론을 전개한다. 이를 이용해 변화 후 성장과 그에 따른 탐지 지연을 분석하였고, 기존의 표준 방법이 PFA 및 ARL 제어에 대해 증명 가능하게 최적이 아니며 각각 $\Omega(T)$와 $\Omega(\sqrt{\text{ARL}})$ 수준의 지연을 초래할 수 있음을 발견하였다. 우리는 학습된 점수와 고정된 분포 독립적 베팅 사전(dictionary)을 사용하는 새로운 컨포멀 e-프로세스와 e-탐지기를 구성한다. KL 발산이 양의 유한값인 모든 분포 쌍에 대해, 제안한 방법은 PFA 제어에서 $\log T/\mathrm{KL}$ 지연을, ARL 제어에서 $\log\mathrm{ARL}/\mathrm{KL}$ 지연(선도 상수 1로 엄밀함)을 점근적으로 달성하며, 이 둘은 적절한 이중 배열 프레임워크에서 미니맥스 최적임이 증명된다. 시뮬레이션은 새로운 접근법의 큰 경험적 이점을 보여 준다.

arXiv:2609.27976v2stat.ML공통 태그 Uncertainty Quantification, Conformal Prediction

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.

arXiv:2610.15862v1cs.LG공통 태그 regression, Uncertainty Quantification

박판 구형 셸 캡의 강건한 노크다운 팩터 예측 및 신뢰도 기반 설계를 위한 하이브리드 가우스 과정-Extreme Gradient Boosting 머신러닝 프레임워크

A Hybrid Gaussian Process-Extreme Gradient Boosting Machine Learning Framework for Robust Knockdown Factor Prediction and Reliability-Based Design of Thin Spherical Shell Caps

실험을 통해 선형화된 고유좌굴(eigen-buckling) 해석으로 예측된 임계 하중보다 실제 임계 하중이 크게 감소하는 것으로 나타남에 따라, 탄성 좌굴은 깊은 구형 셸 캡(spherical shell cap) 설계에서 여전히 중요한 과제로 남아 있습니다. 이러한 불일치는 초기 기하학적 결함 때문인 것으로 여겨지며, 종종 무차원 매개변수(parameter)인 노크다운 팩터(knockdown factor, KDF)를 통해 보정됩니다. 그러나 기존의 KDF(NASA SP-8007, Eurocode 3)는 방대한 실험 데이터의 하한값을 나타내므로 지나치게 보수적입니다. 본 연구는 구형 셸 좌굴에 대한 실험 데이터로 학습된 머신러닝(ML) 회귀 모델(model)을 통해 구형 셸 캡에 대한 KDF의 보수성을 줄이는 것을 목표로 합니다. 본 논문에서는 가우스 과정 회귀(Gaussian Process Regression, GPR)와 Extreme Gradient Boosting(XGBoost)을 결합한 하이브리드 모델을 제안하며, 인공신경망(Artificial Neural Network, ANN), 서포트 벡터 회귀기(Support Vector Regressor, SVR), 랜덤 포레스트 회귀기(Random Forest Regressor, RFR), 히스토그램 기반 그래디언트(gradient) 부스팅(Histogram-based Gradient Boosting, HGBoost) 등 기존 ML 알고리즘 대비 향상된 성능을 입증합니다. 이러한 각 모델은 6개의 입력 특징(feature)과 단일 출력인 KDF를 사용합니다. 감도 분석을 통해 KDF에 영향을 미치는 가장 핵심적인 특징을 규명합니다. 마지막으로, 본 연구는 안전성을 일관되게 유지하면서도 덜 보수적인 KDF를 도출하기 위해 예측 ML 모델에 의존하는 신뢰도 기반 설계 프레임워크를 제시하며 마무리됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.