네트워크 상의 탐욕적 집계를 위한 유한 표본 FDR 제어
Finite-Sample FDR Control for Greedy Aggregation over Networks
원문 초록
Distributed multiple testing asks $N$ sites, each holding p-values for its own hypotheses, to control the false discovery rate (FDR) of the discoveries made across the whole network while communicating only a small number of bits. Greedy interval aggregation (Pournaderi and Xiang, IEEE TSIPN, 2023) meets the communication budget but controls FDR only asymptotically, and its FDR can exceed the target at finite sample sizes; the same interval counts both select the rejection regions and calibrate the stopping rule, which biases the selected interval densities upward. We propose \emph{budgeted BONuS-GA}: each site mixes synthetic uniform p-values into its data, the center ranks candidate p-value intervals across sites using the pooled counts, and each site's false discoveries are estimated from its own synthetic counts under a per-site share of the level. The procedure needs no knowledge of the null proportions, uses every p-value for both selection and inference, and controls $FDR\le\alpha$ at every sample size for any fixed assignment of hypotheses to sites, assuming only that the null p-values are independent uniforms, independent of the non-null p-values. It keeps the original $O(\sqrt m\log m)$ communication, $m$ being the total number of p-values, when $N=O(\sqrt m)$. We also give a sample-splitting alternative, cross-fit greedy aggregation, with finite-sample control under a random-site model, and we quantify the selection bias behind the original procedure's failure. In a monitoring-network simulation the budgeted procedure retains most of the power of its heuristic counterpart at moderate-to-large site sizes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.14170v3제출 시각 미확인
- arXiv:2609.14170v2
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
벤자미니-호흐베르크 절차는 상관된 양측 가우스 검정에서 FDR을 제어하지 못할 수 있다
The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests
우리는 벤자미니-호흐베르크 절차가 상관된 양측 가우스 $p$-값에 대해 명목 수준에서 거짓 발견율(FDR)을 제어하지 못할 수 있음을 보인다. 수준 $α=0.01$에서, 가설 개수가 충분히 클 때 모두에 대해 엄밀한 구간 산술(interval-arithmetic) 인증이 $FDR>0.0104$임을 증명하는 요인 모델을 구성한다. 이는 20년간 널리 참으로 믿어져 온 추측을 기각한다. 몬테카를로 실험은 이론적 결과와 일치한다. 이 증명은 GPT-5.6 Pro에 의해 얻어졌으며 저자가 면밀히 검증하였다.
잡음이 있는 행렬 완성에서 선형 형식의 다중 검정
Multiple Testing of Linear Forms for Noisy Matrix Completion
대규모 추천 시스템의 많은 중요한 과제들은 잡음이 있는 행렬 완성(noisy matrix completion)에 대한 선형 형식의 다중 검정 문제로 자연스럽게 정식화될 수 있다. 그러나 이러한 문제들은 저랭크(low-rank) 구조로 인해 유도되는 추정 항목들 간의 복잡한 의존성과 바이어스-분산(bias-variance) 간의 미묘한 트레이드오프로 인해 고유한 어려움을 수반한다. 본 논문에서는 이러한 어려움을 극복하기 위한 일반적인 접근법을 개발한다. 구체적으로, 주변적(marginally) 및 결합적(jointly) 모두에서 정밀한 점근적 특성을 갖는 개별 검정용 새로운 통계량을 도입하고, 데이터 분할 및 대칭 집계 방식을 통해 거짓 발견율(FDR, false discovery rate)을 제어하는 데 활용한다. 제안된 방법론을 사용하면 거의 최적의 표본 크기 요건 하에서 검정력을 보장하면서 유효한 FDR 제어가 달성될 수 있음을 보인다. 실용적 장점을 추가로 입증하기 위해 광범위한 수치 시뮬레이션과 실제 데이터 예시도 제시한다.
타깃 멤버십 점수를 통한 Null-보정 컨포멀 선택
Null-Calibrated Conformal Selection via Target-Membership Scores
컨포멀 선택(conformal selection)은 알려지지 않은 응답이 타깃 영역에 속하는 테스트 후보를 식별하면서 거짓 발견률(false discovery rate)을 통제하는 것을 목표로 한다. 기존 방법은 종종 컨포멀 예측(conformal prediction)으로부터 잔차(residual) 점수나 클리핑된 잔차 점수와 같은 예측 지향 비적합(nonconformity) 점수를 그대로 차용한다. 우리는 선택에 자연스러운 점수는 오히려 타깃 멤버십(target-membership) 확률이라고 주장한다. 이 점수는 선택 대상이 되는 이진 사건을 직접 다루며, 그 단조(monotone) 변환은 고정된 null 선택 수준에서 Neyman-Pearson 오라클 순위를 제공한다. 이 구분은 기존 점수들이 본질적으로 동일한 순위를 유도하는 평균-단조(mean-monotone) 타깃에서는 무관하지만, 예측 지향 점수가 선택 검정력(selection power)과 어긋날 수 있는 구간값(interval-valued), 분산 구동(variance-driven), 다중모드(multimodal), 또는 다중 조건(multi-condition) 타깃에서는 중요해진다. 우리는 멤버십 점수 기반 컨포멀 선택을 연구하고, 확인된 비타깃(non-target) 보정 예시에 대해 테스트 점수를 순위화하는 하나의 컨포멀 보정 경로인 Null-보정 컨포멀 선택(NCCS, Null-Calibrated Conformal Selection)을 분리하여 제시한다. null 교환성(null exchangeability) 하에서 NCCS는 유한 표본에서도 유효한 null p-값을 제공하며, 이는 임의의 종속성 하에서 BY(Benjamini-Yekutieli)와 결합하거나 표준적인 양의 종속(positive-dependence) 조건 하에서 BH(Benjamini-Hochberg)와 결합할 수 있다. 실험은 점수 원칙을 뒷받침한다: 멤버십 점수는 평균-단조 타깃에서 기존 점수와 일치하고, 분산 구동 타깃에서 평균 점수 선택 대비 실질적으로 개선되며, NCCS로 보정할 때 희귀 타깃(rare-target) 체계에서 직접적인 경험적 FDP(empirical-FDP) 임계값 설정이 과소 보수적(anti-conservative)일 수 있는 경우 유한 표본 null 유효성을 위해 검정력을 교환한다.
다중 검정에서 레이블 없는 보정
Calibration without labels in multiple testing
대규모 가설 검정은 국소 거짓 발견률(local false discovery rate)을 추정하는 경험적 베이즈 방법에서와 같이, 개별 가설에 대한 확률적 주장을 지원합니다. 본 연구에서는 이러한 주장들이 귀무 가설(null hypothesis)에 대한 대략적으로 보정된 예측으로 해석될 수 있는 방법을 연구하며, 이를 통해 모델 오지정(model misspecification) 하에서도 해석 가능한 오차 확률을 얻을 수 있음을 보입니다. 우리의 접근 방식은 확률적 예측에서 개념적 영감을 얻었지만 다른 과제를 해결합니다. 예측에서는 라벨이 결국 관측되는 것과 달리, 다중 검정에서는 정답(ground truth)이 결코 드러나지 않으므로 보정은 확률적으로 평가되고 간접적으로 확립되어야 합니다. 우리는 순서화된 $p$-값의 간격(spacings)에서 유도되고 국소 거짓 발견률을 회귀 목표로 갖는 의사 라벨(pseudo-labels) 세트를 구성하여 이 과제를 해결합니다. 이러한 구성 방식은 다중 검정에서 사후 보정(post-hoc calibration)을 평가하고 수행하는 기존 도구를 활용 가능하게 합니다. 특히, 출판된 심리학 및 신경과학 문헌에 대한 대규모 경험적 조사를 통해, 거짓 발견률(false discovery rate)에 기반한 널리 사용되는 오차 척도인 $q$-값이 심각하게 오보정(miscalibrated)될 수 있음을 발견했습니다.
컨포멀 추론에서 거짓 발견 비율에 대한 전역적으로 유효한 상한
Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference
이상치 탐지 및 후보 선택과 같은 다중 검정 문제에 대한 컨포멀 추론의 현대적 응용은 종종 컨포멀 p-값이 임계값 미만인 테스트 샘플을 선택하는 것을 포함합니다. 이러한 방법들의 품질은 종종 잘못된 선택의 비율로 정의되는 거짓 발견 비율(FDP)로 측정됩니다. 기존 접근 방식은 일반적으로 Benjamini-Hochberg 절차와 같은 방법을 사용하여 FDP의 기댓값을 제어합니다. 이 접근 방식은 실현된 거짓 발견 비율에 대한 고확률 상한을 제공하지 못하며, 데이터를 검토한 후 기각 임계값이 선택되면 통계적 보장이 무효화됩니다. 본 논문은 가능한 모든 기각 임계값에 대해 동시에 성립하는 FDP에 대한 유한 표본, 분포 무관 상한을 확립하여 임계값의 임의적인 사후 선택을 가능하게 합니다. 동시적 유효성은 귀무 컨포멀 p-값의 결합 분포에서 샘플링하여 해당 경험적 분포 함수에 대한 고확률 포락선을 구축함으로써 달성됩니다. 더 나아가, 우리의 프레임워크는 실무자가 포락선의 형태를 조절할 수 있게 하여, 주요 관심 기각 영역에서 타이트한 상한을 생성합니다. 우리는 이 유연한 접근 방식을 사용하여 이상치 탐지 및 컨포멀 선택 모두에 대한 동시적 FDP 상한을 도출합니다. 합성 및 실제 데이터 실험을 통해 결과로 나온 상한이 유효할 뿐만 아니라 기존 접근 방식에서 도출된 상한보다 훨씬 덜 보수적임을 입증합니다.
위양성 발견 제어 기반 시각 데이터 분할을 통한 대규모 비전-언어 모델의 객체 환각 완화
Mitigating Object Hallucination in Large Vision-Language Models via False Discovery Controlled Visual Data Splitting
대규모 비전-언어 모델(LVLM)이 시각적 입력에 의해 뒷받침되지 않는 객체를 생성하는 다중 객체 환각(hallucination)은 디코딩 과정의 시각적 불확실성으로 인해 발생하는 지속적인 난제입니다. 기존 방식들은 대조 신호를 활용하여 환각을 줄이지만, 경험적 휴리스틱에 의존하며 이미지 수준에서 위양성(false positive)을 원칙적으로 제어하지 못한다는 한계가 있습니다. 이를 해결하기 위해, 불확실성을 인식하는 시각 데이터 분할 전략으로 시각적 불확실성을 모델링하고 미러 통계량(mirror statistics)을 활용하여 디코딩 중 시각적 대조를 정량화하는 무학습(training-free) 프레임워크인 CORAL(False Discovery Rate-COntRol of HALlucination)을 제안합니다. CORAL은 대칭적으로 섭동된 쌍을 이루는 시각적 입력으로부터 미러 통계량을 계산함으로써 거짓된 객체 예측을 추정하고, 이미지당 예상되는 위양성 발견 비율을 제어하는 데이터 기반 임계값을 설정합니다. 이를 통해 실제 시각 정보에 그라운딩(grounding)된 객체에 대한 높은 검출력을 유지하면서 환각을 억제합니다. 본 프레임워크는 유연하여 여러 LVLM을 지원하며, 재학습이나 지도 없이도 환각을 완화합니다. 여러 벤치마크와 다양한 평가 지표를 활용한 광범위한 실험을 통해 CORAL이 최첨단 방법들을 일관되게 능가하며, 보다 신뢰할 수 있고 강건한 환각 제어를 제공함을 입증합니다. 코드는 https://changliu1993-cl.github.io/CORAL/ 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.