arXiv:2606.19737v1 stat.ME

다중 검정에서 레이블 없는 보정

Calibration without labels in multiple testing

Adway S. Wadekar, Jake A. Soloff

제출 2026-06-18

한국어 초록

대규모 가설 검정은 국소 거짓 발견률(local false discovery rate)을 추정하는 경험적 베이즈 방법에서와 같이, 개별 가설에 대한 확률적 주장을 지원합니다. 본 연구에서는 이러한 주장들이 귀무 가설(null hypothesis)에 대한 대략적으로 보정된 예측으로 해석될 수 있는 방법을 연구하며, 이를 통해 모델 오지정(model misspecification) 하에서도 해석 가능한 오차 확률을 얻을 수 있음을 보입니다. 우리의 접근 방식은 확률적 예측에서 개념적 영감을 얻었지만 다른 과제를 해결합니다. 예측에서는 라벨이 결국 관측되는 것과 달리, 다중 검정에서는 정답(ground truth)이 결코 드러나지 않으므로 보정은 확률적으로 평가되고 간접적으로 확립되어야 합니다. 우리는 순서화된 $p$-값의 간격(spacings)에서 유도되고 국소 거짓 발견률을 회귀 목표로 갖는 의사 라벨(pseudo-labels) 세트를 구성하여 이 과제를 해결합니다. 이러한 구성 방식은 다중 검정에서 사후 보정(post-hoc calibration)을 평가하고 수행하는 기존 도구를 활용 가능하게 합니다. 특히, 출판된 심리학 및 신경과학 문헌에 대한 대규모 경험적 조사를 통해, 거짓 발견률(false discovery rate)에 기반한 널리 사용되는 오차 척도인 $q$-값이 심각하게 오보정(miscalibrated)될 수 있음을 발견했습니다.

원문 초록

Large-scale hypothesis testing supports probability claims about individual hypotheses, as in empirical Bayes methods for estimating local false discovery rates. We study how such claims can be interpreted as approximately calibrated forecasts of the null hypothesis, yielding interpretable error probabilities even under model misspecification. Our approach draws conceptual inspiration from probabilistic forecasting but addresses a different challenge: unlike forecasting, where labels are eventually observed, in multiple testing the ground truth is never revealed, so calibration must be assessed stochastically and established indirectly. We address this challenge by constructing a set of pseudo-labels, derived from the spacings of ordered $p$-values, which have the local false discovery rate as their regression target. Our construction unlocks existing tools for assessing and performing post-hoc calibration in multiple testing. Notably, we find on a large-scale empirical survey of published psychology and neuroscience literature that the $q$-value, a popular error measure based on the false discovery rate, can be severely miscalibrated.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19737v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14407v1cs.IT공통 태그 Bayesian Inference, Uncertainty Quantification, calibration

의사결정에는 불확실성 정량화가 필요하다 [강의 노트]

Decision Making Needs Uncertainty Quantification [Lecture Notes]

많은 신호 처리 시스템은 궁극적으로 {행동}하기 위해 존재한다. 의사결정자, 즉 에이전트가 취할 행동을 결정하는 상태 변수가 불확실할 때, 그 불확실성을 어떻게 표현하느냐가 에이전트의 성능이 얼마나 좋을지, 그리고 그 성능을 얼마나 신뢰할 수 있는지를 결정한다. 이 강의 노트는 제1원리로부터, 그리고 단일 의사결정 이론 설정 내에서, {목적}과 에이전트의 지식, 그리고 최적으로 행동하기에 충분한 불확실성 표현 형식 사이의 연관을 전개한다. 우선, 환경 분포가 알려져 있다고 가정하면, 위험 중립적 에이전트는 상태에 대한 사후 분포가 필요함을 보인 반면, 위험 회피적 에이전트는 {예측 집합}과 최악의 경우 의사결정 규칙에 최적성을 잃지 않고 의존할 수 있음을 보인다. 그런 다음 환경이 알려지지 않은 경우로 전환하여, 이로 인한 인식론적(epistemic) 불확실성을 다루는 세 가지 상보적 접근을 식별한다: 고정된 예측기의 보정(calibration), 분포적 강건 최적화(distributionally robust optimization)와 함께하는 크레달(credal, 모호성) 집합, 그리고 모델 파라미터에 대한 베이즈 추론. 공통된 핵심은, 신뢰할 수 있는 의사결정을 위해서는 의사결정 목적과 에이전트의 지식 프로파일에 부합하는 불확실성 표현과, 에이전트가 실제로 얻을 효용(utility)을 보증하는 보증이 함께 필요하다는 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.