연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
원문 초록
Conformal Bayes combines Bayesian posterior predictive scores with conformal calibration. Under continuous label shift, both the score and calibration weights depend on an unknown response density ratio. Existing methods typically estimate a single exponential tilt from pseudo-labels or predictive samples and plug it into calibration. We propose Joint Tilt-Sensitivity Conformal Bayes (JTS-CB), which performs sensitivity analysis over a prespecified family of tilts. Each tilt defines a coupled score-weight pair. The split procedure, JTS-SCB, solves joint min-max calibration by taking the largest tilt-specific threshold from weighted intercept-only quantile regression. JTS-Union retains individual thresholds, yielding prediction sets contained in those of JTS-SCB. Both use calibration-only weights by design, without a general coverage guarantee. We also study a candidate-weighted exact counterpart. Any nonzero linear exponential tilt makes its prediction set unbounded, whereas compact negative-quadratic families yield bounded exact unions under Gaussian scores. For the practical procedures, a localized correction with fallback gives coverage at least nominal minus a target tail-mass bound when the family contains the true tilt, but can substantially increase width. Experiments on controlled shifts of three regression datasets and on synthetic data show that plug-in predictive sampling can approach oracle coverage when the shift is well identified, but remains vulnerable to predictive bias and unstable tilt estimation. Sensitivity analysis can mitigate these failures in the tested settings, at the cost of wider prediction sets. Coupling scores and weights can yield narrower sets with higher coverage than varying weights alone, although this advantage is not uniform across shifts. Excluding the true tilt from the sensitivity family can still cause undercoverage.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27976v2제출 시각 미확인
- arXiv:2609.27976v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
베이즈 역문제에서 빠른 사후분포 샘플링을 위한 플로우 매칭
Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems
모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.
보정된 볼츠만 샘플링을 위한 신경 비평형 해밀토니안 몬테카를로
Neural Non-Equilibrium Hamiltonian Monte Carlo for Corrected Boltzmann Sampling
학습된 동역학적 제안(dynamical proposal)은 다루기 쉬운 종점 밀도(endpoint density)를 제공하지 않고도 구성을 생성할 수 있습니다. 비평형 경로 확률은 이러한 제안을 보정하는 방법을 제공하지만, 보정 자체만으로는 분리된 영역들을 연결하는 능력을 결정짓지 못합니다. 우리는 조건부 모멘텀(momentum) 분포를 가역적이고 부피를 보존하는 동역학에 결합한 신경 비평형 해밀토니안 몬테카를로(Neural Non-Equilibrium Hamiltonian Monte Carlo, NHMC)를 소개합니다. 순방향-역방향 경로 비율은 학습(training), 중요도 가중치 부여, 정규화 상수 추정, 그리고 메트로폴리스 보정에 사용되는 일(work)을 제공합니다. 그런 다음 역방향 및 순방향 경로가 중간 구성을 공유하는 구성 공간 왕복 커널(kernel)을 구축합니다. 해당 구성에 조건화되었을 때, 이 커널의 경로 기록 업데이트는 독립 메트로폴리스-헤이스팅스(independence Metropolis–Hastings)가 됩니다. 우리는 이의 정상 상태 영역 간 흐름(inter-region flow)을 정확한 조건부 매칭 하에서 얻은 흐름과 비교하고, 그 차이를 조건부 경로 불일치로 경계를 설정(bound)합니다. 이는 조건부 제안의 오류를 종점 영역과 중간 구성 간의 의존성으로부터 분리합니다. 다중 우물(many-well) 실험을 통해 정규화 상수와 모드 확률을 테스트하며, 통제된 격자 $φ^4$ 실험은 섹터 간 흐름을 섹터 완화와 연관시킵니다. 2차원 $U(1)$, $\mathrm{SU}(2)$, $\mathrm{SU}(3)$ 실험에서는 해석적 힘 및 학습된 힘을 가진 경로를 포함하여 구조화된 참조를 공유하는 네 가지 제안 구성을 비교합니다.
컨포멀 타원체를 위한 꼬리 인식 기하학 학습
Tail-Aware Geometry Learning for Conformal Ellipsoids
본 논문에서는 유한 표본 커버리지 보장을 제공하는 분포 무관(distribution-free) 불확실성 정량화(uncertainty quantification) 프레임워크인 다변량 컨포멀 예측(CP)을 연구한다. 다변량 예측 집합의 효율성은 부적합도 점수(nonconformity score)로 인코딩된 잔차 기하학에 결정적으로 의존하지만, 기존의 최소 부피 방법들은 꼬리 잔차의 심각성을 무시하고 기하학 학습을 커버리지 수준과 암묵적으로 결합하는 분위수 임계값에 의존한다. 본 연구에서는 기하학 학습에서의 꼬리 민감도를 최종 커버리지 보장과 분리하는 컨포멀 타원체 대상의 꼬리 인식(tail-aware) 기하학 학습 프레임워크를 제안한다. 2분할(two-split) 설계를 사용하여, 추정 분할 상에서 CVaR 제약 조건 하의 부피 최소화를 통해 메트릭 행렬을 학습한 다음, 홀드아웃된 보정 분할 상에서 표준 컨포멀 보정을 적용한다. 결과로 도출되는 문제는 볼록(convex) 문제이며, 잔차가 큰 샘플을 우선시하는 유계 재가중(bounded-reweighting) 해석을 허용한다. 나아가 타원체 부피와 꼬리 심각도 간의 트레이드오프를 이론적으로 규명한다. 실험 결과는 제안된 방법의 효과를 입증한다.
적응이 해가 될 때: 연합 학습 웨어러블 온보딩에서의 분할 민감성과 개인 수준 부정적 전이
When Adaptation Hurts: Split Sensitivity and Person-Level Negative Transfer in Federated Wearable Onboarding
연합 학습 웨어러블 모델은 결국 소스 학습에 포함되지 않은 사람들에게 서비스를 제공하지만, 유리한 평균 정확도만으로는 라벨 없는 온보딩이 각 개인에게 도움이 된다는 것을 입증하지 않는다. 우리는 다섯 개의 웨어러블 데이터셋에서 여섯 가지 핵심 온보딩 전략을, 소스 체크포인트를 고정하고 정규화는 소스 데이터만으로 추정하며, 보정과 평가 기록을 분리하고, 윈도우·기기·무작위 시드가 아닌 보류(hold-out)된 사람 단위로 추론을 수행하는 누출 통제 프로토콜 하에서 평가한다. 적격한 HHAR 및 PAMAP2의 외부-개인(person) 로테이션을 모두 완료하면 원래 고정(frozen) fold에서 얻은 결론이 실질적으로 달라진다. HHAR에서 해당 단일 개인에 대한 균형 정확도(balanced accuracy)는 방법에 걸쳐 95.6–97.2%인 반면 아홉 명의 사용자 전체에서는 78.3–83.0%로, 13.8–17.8 percentage points(pp) 감소한다. 두 데이터셋 모두에서 표시되는 평균 1위 방법이 바뀌지만, paired leader-runner 부트스트랩 구간은 0을 포함하여 우월한 방법을 판별하지 못한다. 어떤 적응형 핵심 메커니즘도 다섯 데이터셋 모두에서 양의 평균 이득과, 시드 평균 후 2pp를 초과하는 개인 수준 손실이 전혀 없는 조합을 동시에 만족하지 않는다. FedBN은 그러한 손실이 하나이고 ATP-style 적응은 여덟 개이며, Feature-only는 시드 평균 후에는 없지만 정확한 일측 95% 상한은 7.6%이다. 보완적 seed-person 스트레스 감사(audit)는 FedBN, ATP-style, Feature-only에 대해 각각 114회 중 4, 22, 10건의 해로운 realization을 기록한다. 이는 독립적인 참가자가 아니라 반복된 realization이다. 꼬리(tail) 품질, 보정 가용성, 낙상(fall) 윈도우 특이성은 평균 정확도에 가려진 추가적 실패를 드러낸다. 따라서 본 연구는 보편적 우월성이나 배포 안전성 주장이 아니라, 감사 가능한 개발 벤치마크와 실패 지도를 제공한다.
CS-WCP: 불확실한 그룹 비율을 갖는 LLM 판정 모델 트래픽 변화에 대한 강건한 적합 예측 집합
CS-WCP: Robust Conformal Sets for LLM-Judge Traffic Shifts with Uncertain Group Proportions
LLM(대규모 언어 모델) 판정 모델(LLM judge)을 기반으로 구축된 예측 집합은 배포 트래픽에서 태스크 또는 정책 그룹의 유병률이 달라질 때 목표 커버리지에 미달(undercover)할 수 있습니다. 가중 적합 예측(Weighted conformal prediction)은 밀도 비(density ratio)가 알려진 공변량 변화(covariate shift) 하에서는 정확하지만, 그룹 비율은 일반적으로 유한한 라벨 없는 샘플로부터 추정해야 합니다. 본 연구에서는 소스 및 타깃 그룹 질량에 대한 동시 정확 구간을 구성하고 호환 가능한 모든 비율 벡터에 대해 가중 적합 집합의 합집합을 반환하는 신뢰 집합 가중 적합 예측(CS-WCP)을 도입합니다. 고정되거나 독립적으로 학습된 유한 분할에 대해 CS-WCP는 최소 1-alpha-delta_w-tau_A-kappa의 커버리지를 달성하며, 여기서 tau_A는 셀 내 공변량 불일치를 측정하고 kappa는 조건부 변화를 측정합니다. 선형 끝점 규칙(linear endpoint rule)은 O(G|Y|) 시간에 강건한 합집합을 계산합니다. 구성된 336개의 공유 지지(shared-support) 트래픽 변화 전반에서, CS-WCP는 평균 이진 집합 크기 1.74 및 1.65에서 소스 적합 예측의 0.954 및 44회 실패와 비교해 13회 실패로 0.973의 평균 커버리지에 도달합니다. 336개의 자연스러운 교차 태스크 전이에서는 커버리지가 0.882에서 0.962로 증가하지만 평균 집합 크기는 1.87에 달하며 크기가 일치된 그룹 플러그인 기준선(baseline)도 경쟁력을 보입니다. 따라서 본 방법은 불확실한 혼합 가중치 하에서 감사 가능한 커버리지 보호 장치를 제공하며, 그 가치는 스칼라 확률 캘리브레이션이나 일률적으로 더 작은 집합이 아닌 보수적인 꼬리 위험 보호(tail protection)에 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.