PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27976v2stat.ML

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.

arXiv:2601.15036v4cs.LG

인수분해 가능 결합 변이 재고찰

Factorizable joint shift revisited

인수분해 가능 결합 변이(FJS)를 범주형 레이블에서 일반 레이블 공간(분류 및 회귀 모두)으로 확장하는 분석 프레임워크를 제안하며, 이를 기반으로 기존 FJS 결과를 일반화하고 클래스 사전 확률 추정을 위한 EM 알고리즘의 레이블 분포 추정 확장을 제시한다. 또한 일반 레이블 공간에서 일반화 레이블 변이(GLS)와 FJS의 관계를 새롭게 재조명한다.

arXiv:2607.04977v1cs.LG

구성 데이터 분석을 통한 기하학 인식 베이지안 정량화

Geometry-Aware Bayesian Quantification via Compositional Data Analysis

레이블 시프트(label shift) 적응을 위한 클래스 유병률 추정(quantification)에서 기존 KDE 기반 방법이 유클리드 가우시안 커널을 사용해 확률 단체(probability simplex)의 기하학적 구조를 무시하는 문제를 해결하고자, 로그-비율(log-ratio) 표현과 Aitchison 기하학에 기반한 기하학 인식 KDE 모델과 수축 정규화(shrinkage regularization)를 결합한 방법을 제안한다. 42개 데이터셋 실험에서 제안 방법은 표준 KDE 기반 기준선 대비 성능을 개선하며 베이지안 정량화 방법 중에서도 경쟁력 있는 결과를 보였다.

arXiv:2607.02173v1stat.ME

레이블 시프트 하에서 양측 절단 가우시안 회귀를 위한 컨포멀 베이즈

Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

레이블 시프트 하에서의 예측은 응답이 절단(censored)될 때 비표준적이 된다. 양측 절단 가우시안 모델에서 $L$ 이하와 $U$ 이상의 잠재값은 경계값에서 기록되므로, 관측된 예측 분포는 혼합형으로서 $L$과 $U$에서 점질량(atom)을 가지고 $(L,U)$에서 연속 밀도를 가진다. 본 논문에서는 사후 예측 기울기(posterior predictive tilting)와 가중 컨포멀 보정(weighted conformal calibration)을 결합하여 이 혼합 공간 설정에 대한 컨포멀 베이즈를 개발한다. 라플라스 사후 근사를 갖는 양측 Tobit 가우시안 베이즈 예측 헤드 하에서, 기울어진 예측 분포는 좌측 점질량, 내부, 우측 점질량 성분을 가지며 세 항으로 이루어진 닫힌 형태의 정규화 인자를 갖는다. 결과적인 예측 집합은 경계 점질량과 내부 구간을 결합할 수 있는 혼합 최고 밀도 영역(highest density region, HDR)이며, 강한 절단 하에서는 점질량만으로 구성된 집합으로 축소될 수 있다. 주요 기술적 문제는 잠재 레이블 시프트가 관측된 절단 척도에서 일반적인 밀도 비율을 직접 제공하지 않는다는 점이다. 잠재 지수 기울기(latent exponential tilt)는 절단 경계에서 꼬리 평균 점질량 가중치를 유도하는 반면, 내부 비율은 밀도 기반으로 유지된다. 이는 두 개의 점질량 비율과 하나의 내부 밀도 비율로 구성된 혼합 관측 공간 보정 가중치를 산출한다. 이 가중치는 보정 측도를 수정하는 반면, 예측 기울기는 목표 분포에 적응된 혼합-HDR 기하학을 제공한다. 합성 실험을 통해 가중 기울어진 컨포멀 베이즈가 가중 소스 점수 보정보다 더 작은 집합으로 주변 커버리지(marginal coverage)를 복원함을 보여주며, 동시에 점질량과 내부 관측에 걸쳐 주변 커버리지와 성분별 동작 간의 트레이드오프를 드러낸다.

arXiv:2606.11865v2stat.ML

라벨 이동 하의 Conformal Bayes: 사후 보정 vs. 학습 중 적응

Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation

Conformal Bayes는 베이지안 사후 예측분포와 컨포멀 보정(conformal calibration)을 결합하여 통계적으로 타당하면서 기하학적으로 효율적인 예측 집합을 생성한다. 본 연구는 통합적인 관점에서 라벨 이동(label shift) 하의 Conformal Bayes를 다루며, 중요도 가중(importance-weighted) 컨포멀 보정을 통해 목표 도메인의 명목적(nominal) 커버리지를 복원하지만 서로 독립적인 메커니즘으로 작동하는 두 가지 상호 보완적 접근법을 확인한다. 사후 보정(post-hoc calibration)은 사후 예측분포를 목표 도메인 쪽으로 기울이고, 중요도 가중 분위수(importance-weighted quantile)를 통해 컨포멀 임계값을 보정하며, 매개변수 사후분포는 변경하지 않는다. 학습 중 적응(in-training adaptation)은 매개변수 사후분포 자체를 목표 도메인 쪽으로 기울여 보정된 예측분포를 생성하며, 그 최고 예측 밀도(highest predictive density, HPD) 영역은 적합된 목표 예측분포 하에서 HPD 기반 예측 집합으로 작용한다. 효율성은 모델에 의존하며 유한 표본 조건부 최적성을 의미하지는 않는다. 두 개의 통제된 실험은 각 전략의 영역 의존성(regime-dependence)을 분리한다. 저차원·잘 추정된 영역에서는 전략 A가 가장 좁은 유효 구간을 생성하고, 고차원·미결정(underdetermined) 영역에서는 전략 B가 커버리지를 유지한 채 최대 43%의 폭 감소를 달성한다(명시된 소스 샘플링 및 라벨 이동 가정 하에서).