arXiv:2412.16462

Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks

Govinda Anantha Padmanabha, Cosmin Safta, Nikolaos Bouklas, Reese E. Jones

제출 2024-12-21

원문 초록

We propose a Stein variational gradient descent method to concurrently sparsify, train, and provide uncertainty quantification of a complexly parameterized model such as a neural network. It employs a graph reconciliation and condensation process to reduce complexity and increase similarity in the Stein ensemble of parameterizations. Therefore, the proposed condensed Stein variational gradient (cSVGD) method provides uncertainty quantification on parameters, not just outputs. Furthermore, the parameter reduction speeds up the convergence of the Stein gradient descent as it reduces the combinatorial complexity by aligning and differentiating the sensitivity to parameters. These properties are demonstrated with an illustrative example and an application to a representation problem in solid mechanics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 Uncertainty Quantification, Sensitivity

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2609.27976v2stat.ML공통 태그 Uncertainty Quantification, Sensitivity

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.

arXiv:2609.27221v1cs.LG공통 태그 Uncertainty Quantification, Sensitivity

컨포멀 타원체를 위한 꼬리 인식 기하학 학습

Tail-Aware Geometry Learning for Conformal Ellipsoids

본 논문에서는 유한 표본 커버리지 보장을 제공하는 분포 무관(distribution-free) 불확실성 정량화(uncertainty quantification) 프레임워크인 다변량 컨포멀 예측(CP)을 연구한다. 다변량 예측 집합의 효율성은 부적합도 점수(nonconformity score)로 인코딩된 잔차 기하학에 결정적으로 의존하지만, 기존의 최소 부피 방법들은 꼬리 잔차의 심각성을 무시하고 기하학 학습을 커버리지 수준과 암묵적으로 결합하는 분위수 임계값에 의존한다. 본 연구에서는 기하학 학습에서의 꼬리 민감도를 최종 커버리지 보장과 분리하는 컨포멀 타원체 대상의 꼬리 인식(tail-aware) 기하학 학습 프레임워크를 제안한다. 2분할(two-split) 설계를 사용하여, 추정 분할 상에서 CVaR 제약 조건 하의 부피 최소화를 통해 메트릭 행렬을 학습한 다음, 홀드아웃된 보정 분할 상에서 표준 컨포멀 보정을 적용한다. 결과로 도출되는 문제는 볼록(convex) 문제이며, 잔차가 큰 샘플을 우선시하는 유계 재가중(bounded-reweighting) 해석을 허용한다. 나아가 타원체 부피와 꼬리 심각도 간의 트레이드오프를 이론적으로 규명한다. 실험 결과는 제안된 방법의 효과를 입증한다.

arXiv:2609.26652v1math.ST공통 태그 Uncertainty Quantification, Sensitivity

조건부 대표 모니터링 및 분류를 위한 문맥 적응형 임계값 설정

Context-Adaptive Thresholding for Conditionally Representative Monitoring and Classification

일반적으로 분류기(classifier)와 모니터링 절차는 오분류율과 같은 목적 함수를 최적화(optimization)하여 레이블이 지정된 데이터로부터 학습(training)됩니다. 이는 중요한 외생 변수가 주어졌을 때 결과(레이블)의 조건부 분포가 모집단의 조건부 법칙과 달라져 비대표적인(unrepresentative) 조건부 분포를 초래할 수 있습니다. 본 연구에서는 오경보율(false alarm rate)을 유지하면서 민감도(sensitivity)를 분배하기 위해 공변량 $Z$(문맥)에 맞춰 임계값을 적응시킴으로써, 임의의 주어진 임계값 형태 분류기 및 모니터링 규칙을 수정하여 대표성 있는 조건부 레이블 예측을 달성하는 방법을 제시합니다. 경보 이벤트가 알려지지 않은 경우, 이 접근법은 임계값 설정 규칙 관점에서 해당 이벤트를 (근사적으로) 추론(inference)할 수도 있게 합니다. 이 접근법은 계산 비용이 저렴한 비모수적 추정 절차를 통해 구현되며, 그 특성은 경험적 과정 이론(empirical process theory)을 포함한 점근적 분포 이론 및 비점근적 오차 한계 관점에서 연구됩니다. 이러한 결과는 균일 신뢰대(uniform confidence bands), 함수형 가설 검정 및 변화 탐지 절차의 구성을 가능하게 합니다. 해석 가능한 머신러닝에서 자주 사용되는 잘 알려진 FICOS 신용 평가 예시에서, 임계값 적응은 일반적인 분류 평가 지표 측면에서 트랜스포머(transformer)를 포함한 최신(SOTA) 방법들과 견줄 수 있는 쉽게 해석 가능한 결정 규칙으로 이어집니다.

arXiv:2607.22788v1cs.LG공통 태그 Uncertainty Quantification, Sensitivity

FMOPF: AC 최적 전력 흐름을 위한 제약 인식 상호작용 사전 기반 잠재 플로우 매칭

FMOPF: Latent Flow Matching with Constraint-Aware Interaction Priors for AC Optimal Power Flow

AC 최적 전력 흐름(OPF)은 비선형 전력 평형 제약 하에서 최소 비용 발전 배치를 결정하며, 전력 시장 운영에서 하루에 수천 번 풀린다. 부하 조건에서 OPF 해법으로의 직접 매핑을 학습하면 이 계산을 가속할 수 있지만, 재생에너지 침투가 심화되면서 단일 최적 배치만으로는 더 이상 충분하지 않다. 운영자는 위험 정량화, 민감도 분석, 다목적 트레이드오프 평가를 위해 실행 가능한 근최적 해법 분포의 특성화가 필요하다. 지도 학습 신경망은 빠른 점 예측을 제공하지만 이 조건부 분포를 포착할 수 없다. 확산 기반 생성 모델은 원칙적으로 다양한 해법을 샘플링할 수 있지만, 원시 상태 공간에서 동작하는 기존 방법은 해법 품질이 저하되고 중간 규모 시스템 이상으로 확장하지 못한다. 우리는 근본 원인을 단일 모델 내에서 두 가지 서로 다른 과제가 혼재된 것으로 확인했다. 고차원 OPF 해법 매니폴드를 압축하는 것이 한 과제이고, 부하에서 그 매니폴드로의 조건부 매핑을 학습하는 것이 또 다른 과제이다. 본 논문은 잠재 플로우 매칭(latent flow matching)을 통해 압축과 생성을 분리하고, Constraint-Aware Interaction Prior Network를 통해 부하-상태 결합을 명시적으로 모델링함으로써 이러한 혼재를 해소하는 프레임워크인 FMOPF를 제안한다. 4개 IEEE 테스트 시스템에서의 실험은 FMOPF가 가장 효과적인 Newton-Raphson 웜 스타트(warm start)를 제공하고, 생성 방법 중 최저 꼬리 위험(tail risk)을 달성하며, 완전한 실행 가능성을 유지하면서 수백 개 버스(bus) 규모 시스템까지 확장 가능한 최초의 방법임을 보여준다. Ablation 연구는 잠재 생성 파이프라인이 물리적 실행 가능성의 필요 조건이며, 상호작용 사전(prior)이 후단 꼬리 위험 제어기로 기능함을 확인한다.

arXiv:2607.13221v1eess.SY공통 태그 Uncertainty Quantification, Sensitivity

배포 시프트 하 위험 통제 N-1 열 사고 선별을 위한 감사 기반 선택적 검증

Audited Selective Verification for Risk-Controlled N-1 Thermal Contingency Screening under Deployment Shift

에너지 관리 시스템에서의 실시간 N-1 사고(contingency) 선별은 보증과 비용 사이의 트레이드오프를 수반한다. 모든 신뢰 가능한 정전(outage)을 전력조류(power flow)로 완전히 검증하는 것은 너무 느린 반면, 빠른 선형 민감도(linear-sensitivity) 기반 선별은 통계적 보증을 제공하지 않으며, 특히 제어기가 시스템을 낯선 운전 영역으로 유도할 때 불안전한 운전점을 조용히 통과시킬 수 있다. 본 논문은 Audited Selective Verification을 제안하며, 이는 최적화(optimization), 모델 예측(model-predictive), 또는 학습 기반(learned) 제어기 출력에 적용할 수 있는 위험 예산(risk-budgeted) 기반 선별 및 분류(triage) 층이다. 저비용 서로게이트(surrogate)가 건너뛸 정전을 제안하고, 온라인 감사(audit)는 각 윈도우마다 소규모 무작위 표본에 대해 전력조류를 수행하며, 보정된(calibrated) 임계값은 선택된 예산과 신뢰도에서 건너뛴 집합에 대한 열 위반률(thermal-violation-rate) 경계를 인증하고, 미검증 신뢰 부분집합에 대응하는 경계도 제공한다. 타당성은 서로게이트 정확도가 아니라 실제 검증과 감사에 기반하므로 임의의 배포 시프트(deployment shift) 하에서도 성립한다. 이는 위험 예산 기반 선별일 뿐, 정책이 모든 신뢰 가능한 사고를 검증하도록 요구할 때 결정적(deterministic) 검증을 대체하는 것이 아니다. 최대 1354 버스 규모의 3개 공개 송전(transmission) 시스템에서, 실현된 위반률은 예산 내에 유지되고, 표준 결정적 및 보정된 선별 방법은 시프트 하에서 불안전해지며, 본 방법은 실시간 운전점당 전력조류 연구를 29%에서 75%까지 절감한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.