Aggregating Predictions on Multiple Non-disclosed Datasets using Conformal Prediction
원문 초록
Conformal Prediction is a machine learning methodology that produces valid prediction regions under mild conditions. In this paper, we explore the application of making predictions over multiple data sources of different sizes without disclosing data between the sources. We propose that each data source applies a transductive conformal predictor independently using the local data, and that the individual predictions are then aggregated to form a combined prediction region. We demonstrate the method on several data sets, and show that the proposed method produces conservatively valid predictions and reduces the variance in the aggregated predictions. We also study the effect that the number of data sources and size of each source has on aggregated predictions, as compared with equally sized sources and pooled data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
반사실적 결정을 위한 예측 집합: 커버리지, 최적성, 그리고 컨포멀 예측
Prediction Sets for Counterfactual Decisions: Coverage, Optimality, and Conformal Prediction
예측은 치료 선택부터 정책 수립에 이르기까지 고위험 결정을 안내하는 데 점점 더 많이 활용되고 있다. 불완전한 예측의 신뢰성을 보장하기 위해, 컨포멀 예측(conformal prediction)과 같은 불확실성 정량화 방법은 커버리지 보장을 갖춘 예측 집합을 구성한다. 그러나 통계적 유효성만으로는 어떤 결정을 내려야 하는지, 또는 그 최적성을 즉각적으로 결정하지 못한다. 이 간극은 실현되는 결과가 취해진 행동에 의존하는 반사실적(counterfactual) 환경에서 특히 민감한데, 이러한 경우 불확실성은 결정 규칙과 독립적으로 명시될 수 없다. 우리는 불확실성 기반 반사실적 결정을 위한 의사결정 이론적 프레임워크를 개발한다. 우리는 예측 집합 자체가 유도하는 행동 하에서 실현된 결과의 커버리지, 즉 정책 결합 커버리지(policy-coupled coverage)라는 새로운 개념을 불확실성과 행동 사이의 최적이고 무손실적인 인터페이스로 식별한다. 이 개념은 세 가지 역할을 수행한다. 첫째, 분포적 모호성(distributional ambiguity) 하에서 자연스러운 최대-최소(max-min) 규칙을 통한 행동이 미니맥스 최적(minimax-optimal)임을 정당화한다. 둘째, 정책 결합 커버리지 하에서 예측 집합을 최적화하는 것은 더 강력한 범용 커버리지 공식화와 정책 및 효용 증명서에 대한 직접적인 위험 회피 최적화 모두와 동치이며, 이 동치 관계는 모집단 최적 예측 집합의 명시적 형태를 도출한다. 셋째, 이 개념은 엄격한 유한 표본 커버리지로 이러한 최적 집합을 근사하는 2단계 절차인 정책 결합 위험 회피 컨포멀 예측(PC-RACP, Policy-Coupled Risk-Averse Conformal Prediction)을 허용한다. 시뮬레이션과 실제 이메일 마케팅 실험을 통해 PC-RACP가 유효한 커버리지를 유지하면서 기존 접근법보다 높은 효용을 제공함을 확인하였으며, 결정 문제의 반사실적 구조를 무시하는 것이 유효성과 효용 모두에서 차선임을 보였다.
분할 등각 예측에서의 최적 데이터 분할에 관하여
On Optimal Data Splitting for Split Conformal Prediction
등각 예측(conformal prediction) 및 분할 등각 예측(split conformal prediction)을 포함한 그 변형 방법들은 유한 표본 커버리지 보장을 갖는 예측 구간 또는 집합을 구성함으로써 불확실성 정량화를 위한 분포-무관(distribution-free) 프레임워크를 제공한다. 이러한 구간의 통계적 효율성은 데이터를 학습(training) 표본과 보정(calibration) 표본으로 분할하는 방식에 결정적으로 의존한다. 실용적 중요성에도 불구하고, 커버리지를 유지하면서 예측 구간 길이를 최소화하는 학습-보정 분할에 대한 원칙적인 특성 규명은 대체로 미해결 상태로 남아 있었다. 본 논문에서는 분할 등각 예측에서의 최적 데이터 분할을 위한 이론적 프레임워크를 개발한다. 먼저 일반적인 설정에서 문제를 분석하고, 대칭 및 비대칭 체제 모두에서 길이 최적 분할 비율의 해석적 특성을 도출한다. 이어서 일반적인 결과가 선형 회귀, 비모수 회귀, 신경망을 포함한 여러 일반적으로 사용되는 회귀 설정에 어떻게 특수화되는지를 보임으로써 해당 프레임워크의 적용 범위를 입증한다. 또한 최적 비율을 선택하기 위한 데이터 기반 방법도 기술한다. 본 분석은 모델(model) 관련 특성이 학습과 보정 간의 최적 표본 할당을 어떻게 결정하는지를 명확히 하고, 더 짧은 예측 구간을 구성하기 위한 원칙적인 지침을 제공한다. 합성 및 실제 데이터셋에 대한 실험을 통해 다양한 실용적 시나리오에 걸쳐 제안된 방법론의 적용 가능성을 입증한다.
근사 리브-원-아웃을 통한 컨포멀 예측 가속화
Accelerating Conformal Prediction via Approximate Leave-One-Out
컨포멀 예측(conformal prediction)은 예측 추론에서 불확실성 정량화를 위한 일반적인 프레임워크를 제공하지만, 계산 비용으로 인해 적용이 제한되는 경우가 많다. Jackknife+와 Jackknife-minmax를 포함한 최근 방법들은 완전한 컨포멀 예측 대비 약간의 효율성 손실을 감수하고 더 빠른 계산을 달성하지만, 여전히 모든 관측값에 대해 리브-원-아웃(leave-one-out) 재적합을 계산해야 한다. 본 논문에서는 근사 리브-원-아웃(ALO, approximate leave-one-out) 추정량을 도입하여 컨포멀 예측을 더욱 가속화하고, 점근적 커버리지와 효율성을 확립한다. 우리의 증명은 고차원 통계에서 ALO 교차검증 위험 추정량의 일관성 분석을 위해 개발된 방법을 활용하지만, 학습 공변량 $x_i$에서만이 아니라 $x_{n+1}$에서의 예측을 위해 리브-$i$-아웃 잔차가 필요한 컨포멀 예측을 처리하기 위한 적응이 필요하다. 시뮬레이션 결과는 우리의 이론적 발견을 검증하며, ALO 기반 방법이 정확한 방법과 비교 가능한 커버리지와 효율성을 달성하면서 실행 시간을 크게 단축함을 보여준다.
매크로 커버리지 보장을 갖는 컨포멀 예측
Conformal Prediction with Macro-Coverage Guarantees
예측 집합이 유용하려면 높은 커버리지를 가져야 하지만, 커버리지 개념에 따라 실용적 관련성은 다르다. 분류 환경에서 클래스 조건부 커버리지는 예측 집합(즉, 새로운 테스트 포인트에 대한 후보 레이블 집합)이 각 클래스 내에서 목표 정확도 수준을 달성할 것을 요구하는데, 희귀한 클래스가 많고 보정 포인트가 적을 경우 이를 만족하기 어려울 수 있다. 반대 극단으로, 주변 커버리지는 모든 클래스의 분포에 걸쳐 평균적으로 커버리지가 유지될 것만을 요구하며, 이는 낮은 확률의 레이블이 사실상 무시되는 결과를 초래할 수 있다. 중간 지점을 찾기 위해 최근 연구에서는 클래스 조건부 커버리지의 비가중 평균으로 정의되는 매크로 커버리지를 도입하였다. 매크로 커버리지는 주변 커버리지와 클래스 조건부 커버리지 사이의 절충안을 제공하며, 특히 긴 꼬리 분포 환경에 적합하다. 본 연구에서는 레이블 가중 컨포멀 예측을 사용하여 유한 샘플 매크로 커버리지 보장을 갖는 예측 집합을 생성할 수 있음을 보이고, 나아가 임의의 클래스 그룹화 수준에서 커버리지를 집계하고 가중 평균을 취하는 일반화된 매크로 커버리지 목적 함수 계열에 대한 보장도 제공함을 보인다. 또한 주어진 일반화된 매크로 커버리지 목적 함수를 만족하는 가장 작은 예측 집합의 형태를 특성화하고 이에 대응하는 컨포멀 점수 함수를 제안한다. 이론적 결과는 두 개의 대규모 이미지 분류 데이터셋에서 검증한다.
확률적 비순응 측도 하의 완전 컨포멀 예측
Full Conformal Prediction under Stochastic Non-Conformity Measure
완전 컨포멀 예측(full conformal prediction) 이론은 결정론적 비순응 측도(non-conformity measure)를 사용하지만, 현대적인 완전 컨포멀 예측의 활용은 종종 머신러닝 학습에 의존하기 때문에 확률성이 불가피하다. 비순응 측도의 거의 확실한(almost sure) 순열 불변성이라는 단순한 충분 조건은 지나치게 제한적일 수 있어, 많은 연구자들이 완전 컨포멀 예측의 타당성 조건으로 분포 내 순열(permutation in distribution)로의 완화를 제안해 왔다. 그러나 우리는 이 널리 알려진 조건이 실제로는 불충분함을 보인다. 이후 우리는 올바른 충분 조건인 조건부 독립성 및 분포 내 순열 불변성(Conditional Independence & Permutation Invariance in Distribution)을 제시하며, 이는 머신러닝에서 활용될 수 있는 여러 확률적 설정을 포괄한다.
Optimal distribution-free sequential change detection with conformal martingales
토론
이 논문과 연결된 포럼 글이 아직 없습니다.