No Free Lunch: Non-Asymptotic Analysis of Prediction-Powered Inference
한국어 초록
예측-기반 추론(Prediction-Powered Inference, PPI)은 골드 스탠다드 레이블과 잡음이 포함될 수 있는 의사 레이블(pseudo-label)을 결합하여 통계적 추정을 수행하는 널리 사용되는 방법론이다. 선행 연구에서는 적응형 PPI인 PPI++에 대해 점근적 "공짜 점심"이 존재함을 보였는데, 이는 PPI++의 점근적 분산이 골드 스탠다드 레이블만을 사용했을 때의 분산보다 항상 작거나 같다는 것을 의미한다. 주목할 점은 이 결과가 의사 레이블의 품질과 무관하게 성립한다는 것이다. 본 연구에서는 평균 추정 문제에 대한 PPI++의 추정 오차를 정확한 유한 표본 분석을 통해 이 결과를 규명한다. 우리는 "공짜 점심은 없다"는 결과를 제시하여, PPI++가 골드 스탠다드 레이블만을 사용하는 것보다 추정 오차가 입증 가능하게 더 나쁜 설정(및 표본 크기)을 특성화한다. 구체적으로, PPI++가 더 나은 성능을 보이기 위한 필요충분조건은 의사 레이블과 골드 스탠다드 레이블 사이의 상관관계가 레이블된 표본 수($n$)에 의존하는 특정 수준 이상이어야 한다는 것이다. 일부 경우에는 결과가 상당히 단순화되는데, 예를 들어 가우시안 데이터의 경우 성능 향상을 위해서는 상관관계가 적어도 $1/\sqrt{n - 2}$ 이상이어야 한다. 더 나아가, 표본 분할 하에서 PPI++의 분산에 대한 정확한 비점근적 표현을 제공함으로써, 실무자들이 특정 응용에서 PPI++의 이점을 투명하게 추론할 수 있도록 지원하고자 한다. 실험에서는 실제 데이터셋에서 우리의 이론적 결과가 성립함을 입증한다.
원문 초록
Prediction-Powered Inference (PPI) is a popular strategy for combining gold-standard and possibly noisy pseudo-labels to perform statistical estimation. Prior work has shown an asymptotic \enquote{free lunch} for PPI++, an adaptive form of PPI, showing that the \textit{asymptotic} variance of PPI++ is always less than or equal to the variance obtained from using gold-standard labels alone. Notably, this result holds \textit{regardless of the quality of the pseudo-labels}. In this work, we demystify this result by conducting an exact finite-sample analysis of the estimation error of PPI++ on the mean estimation problem. We give a \enquote{no free lunch} result, characterizing the settings (and sample sizes) where PPI++ has provably worse estimation error than using gold-standard labels alone. Specifically, PPI++ will outperform if and only if the correlation between pseudo- and gold-standard is above a certain level that depends on the number of labeled samples ($n$). In some cases our results simplify considerably: For Gaussian data, for instance, the correlation must be at least $1/\sqrt{n - 2}$ in order to see improvement. More broadly, by providing exact non-asymptotic expressions for the variance of PPI++ under sample splitting, we aim to empower practitioners to transparently reason about the benefits of PPI++ in specific applications. In experiments, we illustrate that our theoretical findings hold on real-world datasets.
요약
적응형 예측-기반 추론(PPI++)의 점근적 공짜 점심 보장을 평균 추정 문제의 유한 표본 분석으로 재검토하여, PPI++가 골드 스탠다드 레이블만 사용한 추정보다 추정 오차가 더 큰 설정을 특성화하고 의사 레이블과 골드 스탠다드 레이블 간 상관관계가 표본 수 n에 의존한 임계값 이상일 때만 우위가 나타난다는 필요충분조건을 제시한다. 표본 분할 하 PPI++ 분산의 정확한 비점근적 표현을 제공하고, 가우시안 데이터에서는 상관관계가 1/√(n-2) 이상일 때만 개선되는 등 이론적 결과가 실제 데이터셋에서도 확인된다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2505.20178v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
적응적 실험에서 정책 개선 가치에 대한 추론
Inference on the Value of Policy Improvement in Adaptive Experiments
본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.
SLICE: 컨포멀 E-값 기반 순차적 무가능도 추론
SLICE: Sequential Likelihood-Free Inference via Conformal E-Values
많은 과학적 모델은 시뮬레이션은 가능하지만 가능도(likelihood) 계산이 다루기 힘들어 빈도주의적 불확실성 정량화가 어렵습니다. 본 논문에서는 이러한 모델의 매개변수(parameter)에 대해 정확하고 언제든 유효한(anytime-valid) 신뢰 시퀀스를 구축합니다. 매 관측마다 각 후보 귀무가설의 새로운 시뮬레이션을 통해 양의 예측 가능한 점수를 조건부 e-값(conditional e-value)으로 컨포멀화하며, 이들의 곱은 검정 마틴게일(test martingale)을 형성하고 이를 매개변수에 대해 반전시킵니다. 이러한 유효성은 해당 점수의 정확도와 관계없이 모든 점수에 대해 성립합니다. 또한 오라클 우도비 점수가 기대 로그 성장을 극대화함을 보이며, 이를 바탕으로 분할 상환 신경망 비율 추정기(amortized neural ratio estimator)로 이를 근사하도록 유도합니다. 합성 벤치마크, LLM API의 모델 라우팅 감사, 미세중력렌즈 데이터에서 도출된 신뢰 시퀀스는 고정 표본 방법과 달리 지속적인 모니터링 하에서도 유효성을 유지하며, 신경망 점수는 정확한 우도비 및 응용 분야별 특화 점수와 비교해서도 경쟁력 있는 성능을 유지합니다.
증거 학습 기반 변이형 오토인코더에 관한 이론적 연구
Theoretical Study on the Evidential Learning-based Variational Autoencoder
정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.
PR-Smoother: 데이터 동화를 위한 시뮬레이터 보존 비가우시안 스무딩
PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation
많은 물리적 데이터 동화(DA) 워크플로는 물리 상태 변수에 대한 비가우시안 사후분포를 표현하고, 고차원 시뮬레이터로 확장 가능하며, 관측 구간만으로 학습하고, 주어진 시뮬레이터 보정과 호환되는 스무딩 방법을 요구한다. 본 논문은 이러한 주어진-시뮬레이터 DA 체계를 위해 설계된 시뮬레이터 보존 상환(amortized) 스무더인 PR-Smoother를 제안한다. 핵심 설계 원칙은 증거 하한(evidence lower bound)과 변분(variational) 계열 모두에서 주어진 시뮬레이터를 명시적으로 유지하는 것이다. 대체 역학이나 학습된 궤적 사전(prior)을 학습하는 대신, PR-Smoother는 주어진 롤아웃 주변에서 미래 조건(future-conditioned) 보정만을 학습한다. 이를 통해 물리 궤적에 대한 명시적 비가우시안 스무딩 분포를 얻으며, 관측만으로 상태, 매개변수, 센서 바이어스의 공동 학습을 지원한다. 변분 계열은 결정론적 한계와 선형-가우시안 한계에서 정확한 스무더를 포함한다. 실험적으로 PR-Smoother는 4차원 Lorenz-96에서 다중모드 사후분포를 포착하고, 40차원 Lorenz-96에서 모호한 비선형 관측과 과정 노이즈(process noise) 하에서도 정확도를 유지하며, 16,384차원 Kolmogorov flow에서 상태-매개변수-바이어스 공동 추론으로 확장된다.
머신러닝을 활용한 재귀적 상태 추정에서 근사 솔버의 수리 가능성
Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning
재귀적 상태 추정은 종종 피드백 루프 안에서 근사적인 수치 해를 실행하며, 국소적으로 매우 정확한 단계가 전체적으로 더 나은 결과를 보장하지는 않는다. 고정된 선형 Kalman 모델에 대해, 규정된 부분공간과 노름 예산 내 보정이 국소 허용 가능성 허용 오차를 충족할 수 있는 조건을 특성화하고, 실제로 실행된 결함이 유한 구간 공분산 응답에 미치는 영향을 분석한다. 구현된 공분산에 대한 정확한 이득(gain)을 중심으로 각 결함을 두면 현재 솔브 오류와 상속된 이득 드리프트를 분리할 수 있다. 정확한 잔차-드리프트 항등식을 전개하면 2차 응답을 넘어 상반되는 4차 기여가 드러난다. 혁신(innovation) 공분산 팽창은 양의 방향으로, 국소 이득 재최적화는 음의 방향으로 작용한다. 일치하는 초기화 하에서, 고정 구간에서 유계 결함 열에 대해 균일한 절대 6차 나머지 상한은 2차 과소 또는 과대 예측에 대한 충분 조건을 제공한다. 머신러닝은 유계 보정을 제안하고, 학습기에 독립적인 잔차 증명서(residual certificate)와 검증된 폴백(fallback)이 기준 추정기를 바꾸지 않은 채 고전 및 양자 후보의 실행을 관장한다. 전력망 허용 오차 연구에서, 학습된 보정은 동일한 잔차 증명서 하에서 보정되지 않은 솔브에 비해 폴백 없이 배포할 때 최소 �共轭梯度(conjugate-gradient) 반복 횟수를 낮춘다. 변분 양자 선형 솔버와 어닐링 기반 이진 인코딩으로 재구성된 이득은 초전도 하드웨어上的 소규모 단말 측정과 양자 어닐러(quantum annealer)上的 샘pling을 거쳐 동일한 인터페이스로 실행된다. 국소 수리 가능성을 비선형 오류 전파와 연결함으로써, 이 프레임워크는 독립적 인증과 유한 구간 응답을 통해 근사 솔버와 학습된 보정을 평가하며, 하이브리드 양자-고전 계산 연구를 위한 실용적 토대를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.