PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27976v2stat.ML

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes combines Bayesian posterior predictive scores with conformal calibration. Under continuous label shift, both the score and calibration weights depend on an unknown response density ratio. Existing methods typically estimate a single exponential tilt from pseudo-labels or predictive samples and plug it into calibration. We propose Joint Tilt-Sensitivity Conformal Bayes (JTS-CB), which performs sensitivity analysis over a prespecified family of tilts. Each tilt defines a coupled score-weight pair. The split procedure, JTS-SCB, solves joint min-max calibration by taking the largest tilt-specific threshold from weighted intercept-only quantile regression. JTS-Union retains individual thresholds, yielding prediction sets contained in those of JTS-SCB. Both use calibration-only weights by design, without a general coverage guarantee. We also study a candidate-weighted exact counterpart. Any nonzero linear exponential tilt makes its prediction set unbounded, whereas compact negative-quadratic families yield bounded exact unions under Gaussian scores. For the practical procedures, a localized correction with fallback gives coverage at least nominal minus a target tail-mass bound when the family contains the true tilt, but can substantially increase width. Experiments on controlled shifts of three regression datasets and on synthetic data show that plug-in predictive sampling can approach oracle coverage when the shift is well identified, but remains vulnerable to predictive bias and unstable tilt estimation. Sensitivity analysis can mitigate these failures in the tested settings, at the cost of wider prediction sets. Coupling scores and weights can yield narrower sets with higher coverage than varying weights alone, although this advantage is not uniform across shifts. Excluding the true tilt from the sensitivity family can still cause undercoverage.

arXiv:2601.15036v4cs.LG

인수분해 가능 결합 변이 재고찰

Factorizable joint shift revisited

인수분해 가능 결합 변이(FJS)를 범주형 레이블에서 일반 레이블 공간(분류 및 회귀 모두)으로 확장하는 분석 프레임워크를 제안하며, 이를 기반으로 기존 FJS 결과를 일반화하고 클래스 사전 확률 추정을 위한 EM 알고리즘의 레이블 분포 추정 확장을 제시한다. 또한 일반 레이블 공간에서 일반화 레이블 변이(GLS)와 FJS의 관계를 새롭게 재조명한다.

arXiv:2607.04977v1cs.LG

구성 데이터 분석을 통한 기하학 인식 베이지안 정량화

Geometry-Aware Bayesian Quantification via Compositional Data Analysis

레이블 시프트(label shift) 적응을 위한 클래스 유병률 추정(quantification)에서 기존 KDE 기반 방법이 유클리드 가우시안 커널을 사용해 확률 단체(probability simplex)의 기하학적 구조를 무시하는 문제를 해결하고자, 로그-비율(log-ratio) 표현과 Aitchison 기하학에 기반한 기하학 인식 KDE 모델과 수축 정규화(shrinkage regularization)를 결합한 방법을 제안한다. 42개 데이터셋 실험에서 제안 방법은 표준 KDE 기반 기준선 대비 성능을 개선하며 베이지안 정량화 방법 중에서도 경쟁력 있는 결과를 보였다.

arXiv:2607.02173v1stat.ME

레이블 시프트 하에서 양측 절단 가우시안 회귀를 위한 컨포멀 베이즈

Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

레이블 시프트 하에서의 예측은 응답이 절단(censored)될 때 비표준적이 된다. 양측 절단 가우시안 모델에서 $L$ 이하와 $U$ 이상의 잠재값은 경계값에서 기록되므로, 관측된 예측 분포는 혼합형으로서 $L$과 $U$에서 점질량(atom)을 가지고 $(L,U)$에서 연속 밀도를 가진다. 본 논문에서는 사후 예측 기울기(posterior predictive tilting)와 가중 컨포멀 보정(weighted conformal calibration)을 결합하여 이 혼합 공간 설정에 대한 컨포멀 베이즈를 개발한다. 라플라스 사후 근사를 갖는 양측 Tobit 가우시안 베이즈 예측 헤드 하에서, 기울어진 예측 분포는 좌측 점질량, 내부, 우측 점질량 성분을 가지며 세 항으로 이루어진 닫힌 형태의 정규화 인자를 갖는다. 결과적인 예측 집합은 경계 점질량과 내부 구간을 결합할 수 있는 혼합 최고 밀도 영역(highest density region, HDR)이며, 강한 절단 하에서는 점질량만으로 구성된 집합으로 축소될 수 있다. 주요 기술적 문제는 잠재 레이블 시프트가 관측된 절단 척도에서 일반적인 밀도 비율을 직접 제공하지 않는다는 점이다. 잠재 지수 기울기(latent exponential tilt)는 절단 경계에서 꼬리 평균 점질량 가중치를 유도하는 반면, 내부 비율은 밀도 기반으로 유지된다. 이는 두 개의 점질량 비율과 하나의 내부 밀도 비율로 구성된 혼합 관측 공간 보정 가중치를 산출한다. 이 가중치는 보정 측도를 수정하는 반면, 예측 기울기는 목표 분포에 적응된 혼합-HDR 기하학을 제공한다. 합성 실험을 통해 가중 기울어진 컨포멀 베이즈가 가중 소스 점수 보정보다 더 작은 집합으로 주변 커버리지(marginal coverage)를 복원함을 보여주며, 동시에 점질량과 내부 관측에 걸쳐 주변 커버리지와 성분별 동작 간의 트레이드오프를 드러낸다.

arXiv:2606.11865v2stat.ML

라벨 이동 하의 Conformal Bayes: 사후 보정 vs. 학습 중 적응

Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation

Conformal Bayes는 베이지안 사후 예측분포와 컨포멀 보정(conformal calibration)을 결합하여 통계적으로 타당하면서 기하학적으로 효율적인 예측 집합을 생성한다. 본 연구는 통합적인 관점에서 라벨 이동(label shift) 하의 Conformal Bayes를 다루며, 중요도 가중(importance-weighted) 컨포멀 보정을 통해 목표 도메인의 명목적(nominal) 커버리지를 복원하지만 서로 독립적인 메커니즘으로 작동하는 두 가지 상호 보완적 접근법을 확인한다. 사후 보정(post-hoc calibration)은 사후 예측분포를 목표 도메인 쪽으로 기울이고, 중요도 가중 분위수(importance-weighted quantile)를 통해 컨포멀 임계값을 보정하며, 매개변수 사후분포는 변경하지 않는다. 학습 중 적응(in-training adaptation)은 매개변수 사후분포 자체를 목표 도메인 쪽으로 기울여 보정된 예측분포를 생성하며, 그 최고 예측 밀도(highest predictive density, HPD) 영역은 적합된 목표 예측분포 하에서 HPD 기반 예측 집합으로 작용한다. 효율성은 모델에 의존하며 유한 표본 조건부 최적성을 의미하지는 않는다. 두 개의 통제된 실험은 각 전략의 영역 의존성(regime-dependence)을 분리한다. 저차원·잘 추정된 영역에서는 전략 A가 가장 좁은 유효 구간을 생성하고, 고차원·미결정(underdetermined) 영역에서는 전략 B가 커버리지를 유지한 채 최대 43%의 폭 감소를 달성한다(명시된 소스 샘플링 및 라벨 이동 가정 하에서).