거의 통제됨: 가중 컨포멀 p-값에 대한 Benjamini-Hochberg의 FDR
Almost Controlled: The FDR of Benjamini-Hochberg on Weighted Conformal p-Values
한국어 초록
가중 컨포멀 p-값은 컨포멀 추론을 공변량 이동이 있는 경우로 일반화한다. 이를 활용하는 한 가지 방법은 Benjamini-Hochberg(BH) 절차에 입력하여 선택할 검정 단위를 결정하거나 이상치를 탐지하는 것이다. 그러나 가중 컨포멀 p-값은 양의 종속성을 갖지 않을 수 있으므로, BH가 유한 표본에서도 거짓 발견율(FDR)을 여전히 통제하는지 알고자 한다. 실험에 따르면 통제하는 것처럼 보이지만, 우리는 그렇지 않음을 증명한다. FDR이 목표 수준 $q$를 초과하는 두 개의 반례를 정확한 유리수 산술로 검증하여 제시한다. 또한 FDR과 $q$의 차이가 얼마나 클 수 있는지도 규명한다. 보정 점이 $n$개, 검정 단위가 $m$개, 가중치 비가 $B$일 때, 상대 초과분 $\mathrm{FDR}/q-1$은 $n$, $m$, $B$, $q$의 함수로 유계이며, $Bm/(nq)$가 작을 때 그 크기는 $\sqrt{Bm/(nq)}$ 차수이다. 이 유계는 $B\le n$인 모든 구성과 모든 $n$에 대해 성립한다. 이 차수는 여러 비영(non-null) 검정 단위가 공통 임계값을 공유할 때 도달될 수 있다. 푸아송 극한 모형에서 그 구성의 초과분은 $B/n\to0$ 후 $m\to\infty$일 때 1차 근사로 $c(q)\sqrt{Bm/(nq)}$이다. 이러한 구조를 갖는 일부 고정 분포에서는 $n$이 커짐에 따라 초과분이 $n^{-1/2}$ 정도로만 감소한다. 모든 검정 단위가 귀무인 경우 고정된 $m$에서 초과분은 $O(B/n)$이며, 특정 구성에서는 $m$에 선형적으로 증가한다. 실무자가 FDR이 얼마나 클 수 있는지 판단하는 데 도움을 주기 위해, $n$, $m$, $q$, $B$에만 의존하는 이 유계를 유한 표본 통제가 증명된 낮춰진 BH 수준으로 전환하고, 우리가 찾을 수 있었던 모든 최악의 경우를 포괄하지만 보장은 제공하지 않는 훨씬 덜 보수적인 경험칙을 제시한다.
원문 초록
Weighted conformal p-values generalize conformal inference to cases with covariate shift. One way to use them is to pass them to the Benjamini-Hochberg (BH) procedure, either to decide which test units to select or to detect outliers. But weighted conformal p-values may not be positively dependent, so we want to know: does BH still control the false discovery rate (FDR) in finite samples? Based on experiments, it appears to, but we prove it doesn't. We give two counterexamples, certified in exact rational arithmetic, where the FDR exceeds its target level $q$. We also identify how large the difference between the FDR and $q$ can be. With $n$ calibration points, $m$ test units and weight ratio $B$, the relative excess $\mathrm{FDR}/q-1$ is bounded by a function of $n$, $m$, $B$ and $q$ that is of order $\sqrt{Bm/(nq)}$ when $Bm/(nq)$ is small. The bound holds for every configuration with $B\le n$ and every $n$. This order can be reached when multiple non-null test units share a common threshold: in a Poisson-limit model, that configuration's excess is $c(q)\sqrt{Bm/(nq)}$ to first order as $B/n\to0$ and then $m\to\infty$. For some fixed distributions with this structure, the excess decreases only like $n^{-1/2}$ as $n$ grows. If every test unit is null, the excess is $O(B/n)$ at fixed $m$, and in certain configurations it grows linearly with $m$. To assist practitioners in judging how large the FDR can be, we turn that bound, which depends only on $n$, $m$, $q$ and $B$, into a lowered BH level with proved finite-sample control, and give a much less conservative rule of thumb that covers every worst case we were able to find but provides no guarantee.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
55 pages, 3 figures, 1 table. Main text 10 pages; full proofs in the appendices