arXiv:2606.29732v1 stat.ME

Testing hypotheses via orthogonalization

Ameer Dharamshi, Runjia Zou, Daniela Witten

제출 2026-06-29

원문 초록

Classical hypothesis testing frameworks break down in contemporary settings in which null hypotheses are increasingly abstract, the same data are used to both generate and test hypotheses, and minimal assumptions about the underlying data are made. In this work, we propose a new framework for conducting valid hypothesis tests in broad contexts. We propose to add and subtract external noise generated from a symmetric shift-family to our data, $X$, to partition it into two pieces, $X^{(1)}$ and $X^{(2)}$. We provide a generic strategy for orthogonalizing $X^{(2)}$ against $X^{(1)}$ under the null hypothesis $H_0$, then show that testing whether the orthogonalization was successful provides a valid test of $H_0$ under mild assumptions. Remarkably, this framework extends naturally to the post-selection inference setting: we simply select a hypothesis on $X^{(1)}$, then perform orthogonalization under the selected null. As our approach neither requires pre-specification of the selection mechanism, nor is restricted to a small class of data-generating distributions, it dramatically expands the settings for which valid post-selection inference can be conducted. We showcase the flexibility of our proposal in several case studies involving challenging pre-specified null hypotheses and post-selection inference scenarios.

요약

데이터에 대칭 이동족(symmetric shift-family) 노이즈를 더하고 빼는 방식으로 데이터를 두 부분으로 분할한 뒤, 귀무가설 하에서 두 번째 분할을 첫 번째 분할에 대해 직교화(orthogonalization)할 수 있는지를 검정하는 새로운 가설검정 프레임워크를 제안한다. 이 접근법은 비모수 설정에서도 유효하며, 선택 메커니즘의 사전 명세 없이 데이터 기반으로 선택된 귀무가설에 대한 사후선택 추론(post-selection inference)까지 자연스럽게 확장되어 클러스터링 이후 추론 등 기존 방법이 적용되지 않던 문제를 해결한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29732v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10965v1cs.LG공통 태그 orthogonalization

스펙트럼 타겟 Muon

Spectrally Targeted Muon

Muon 옵티마이저는 각 업데이트 행렬을 직교화하여 모든 특이값(singular value)을 1로 설정하며, 대규모 언어 모델 학습에 매우 효과적인 것으로 입증되었다. 그러나 이러한 성공이 경사하강법(gradient descent)이 무시하는 작은 특이 방향을 증폭시키는 데서 오는 것인지, 아니면 학습을 저해하는 크고 퇴화된(degenerate) 방향을 억제하는 데서 오는 것인지는 여전히 불분명하다. 우리는 임계값 $τ$보다 크거나 작은 특이값만을 직교화하는 Spectrally Targeted Muon을 제안하며, $τ$를 변화시킴으로써 정규화된 SGD(normalized SGD)와 Muon 사이를 보간할 수 있다. 이 방법은 이동된 그램 행렬(shifted Gram matrix)에 대한 Newton-Schulz 반복으로 계산된 투영을 이용해 관련 특이 부분공간을 분리하므로, SVD가 필요하지 않다. 우리는 CIFAR-10과 NanoGPT 스피드런(speedrun)에서 이러한 변형들을 평가하며, 그래디언트, 업데이트, 가중치 행렬의 유효 랭크(effective rank)와, 가중치 행렬의 등스펙트럼 다양체(isospectral manifold)의 접공간에 대한 업데이트의 정렬(alignment)이라는 새로운 지표를 추적한다. 우리는 세 가지를 발견했다. 첫째, 모멘텀의 작은 특이값은 잡음이 아니다. 각 행렬의 가장 큰 몇 개의 특이값을 제외한 모든 것을 직교화하면 모멘텀의 극히 일부만을 다루면서도 Muon에 거의 근접하는 반면, 상위 특이값만을 직교화하면 모멘텀의 거의 전부를 포함함에도 훨씬 못 미치는 성능을 보인다. 언어 모델에서는 모멘텀의 모든 특이값이 1보다 훨씬 작으므로, 타겟 직교화는 증폭만을 할 수 있으며, Muon은 원래 크기로는 학습이 불가능할 정도로 작은 방향들을 학습 가능하게 만듦으로써 우위를 얻는다. 둘째, 가장 큰 특이값을 축소하는 것이 매개변수 스펙트럼을 평탄하게 유지하는 요인이다; 이는 비용이 적게 들지만 손실을 주도하는 요인은 아니다. 셋째, AdamW는 구조를 형성하는 속도가 Muon보다 느리다는 점에서 주로 차이를 보이며, 이는 AdamW의 느린 초기 학습과, 왜 웜업(warmup)이 AdamW에는 도움이 되지만 Muon에는 오히려 해가 되는지를 설명한다.

arXiv:2609.27765v1math.ST공통 태그 hypothesis testing

테스트 수퍼마틴게일의 제2종 오류: e-파워 대 Chernoff-Stein 지수

The Type-II Error of Test Supermartingales: e-Power versus the Chernoff-Stein Exponent

테스트 수퍼마틴게일을 사용하는 안전한 가설 검정에서, wealth process가 처음 $1/\alpha$를 넘을 때 귀무가설을 기각하면 Ville 부등식은 모든 유의수준 $\alpha\in(0,1]$에 대해 anytime-valid 제1종 오류 보장을 제공한다. 내재된 비대칭성 때문에 제2종 오류는 다르게 거동한다. 단순 귀무 및 대립 가설에 대해 후자와 관련하여 두 가지를 증명한다. 첫째, Kelly betting과 성장률 최적 e-variable이 극대화하는 평균 성장률 $\mathbb{E}_{P_1}[\log E]$, 즉 e-파워는 그 자체로는 아무것도 제한하지 않는다. 모든 수준 $c>0$, 모든 $\alpha$ 및 horizon $t$에 대해 조건부 e-파워가 정확히 $c$인 e-variable을 구성할 수 있으며, 시점 $t$까지 기각하지 않을 확률을 임의로 1에 가깝게 만들 수 있다. 이는 결국 기각을 강제하지만 유한 horizon 보장은 따르지 않는다. 둘째, 제2종 오류를 실제로 제어하는 양은 e-variable의 Chernoff-Stein 지수 $\Lambda(E)=\sup_{s\ge0}\{-\log \mathbb{E}_{P_1}[E^{-s}]\}$이며, 그 범위는 정확히 결정된다: $\sup_E \Lambda(E)=\mathrm{KL}(P_0\|P_1)$, 고전적인 Chernoff-Stein 지수이며 e-variable별 형태 자체의 상한이다. 각 단계마다 Hölder 부등식을 한 번 조건부로 적용하면, 독립성이나 곱 구조 없이 임의의 필터링된 확률공간 위의 모든 테스트 수퍼마틴게일에 대해 이를 얻을 수 있다. i.i.d. 경우에는 더하여 그 상한이 정확히 맞으며, 어떤 것도 이를 달성하지 못한다. e-파워는 자체 상한 $\mathrm{KL}(P_1\|P_0)$을 갖으며, 이 상한은 가능도비 $R$에 의해 $P_0$-a.s. 유일하게 달성된다. 두 최적값은 인수 순서가 반대인 동일한 divergence이며, 평탄화된 family $R^{\beta}/\mathbb{E}_{P_0}[R^{\beta}]$의 양 끝에서 나타난다: $\beta\downarrow0$일 때 상한, $\beta=1$에서 $R$. 어떤 $\beta$가 최적인지는 horizon에 의해 정확히 결정된다. $R$은 $t=\log(1/\alpha)/\mathrm{KL}(P_1\|P_0)$에서만 최적이며, 그보다 작은 $t$에서는 sharpening $(\beta>1)$에, 그보다 큰 $t$에서는 flattening에 의해 능가된다.

arXiv:2609.27766v1math.ST공통 태그 hypothesis testing

하위 꼬리 가설로부터 도출된 검정 슈퍼마팅게일의 2종 오류 한계

Type-II Error Bounds for Test Supermartingales from Lower-Tail Hypotheses

검정 슈퍼마팅게일(test supermartingale)을 이용한 안전한 가설 검정에서 빌의 부등식(Ville's inequality)은 자산 과정(wealth process)이 처음으로 $\frac{1}{\alpha}$을 초과할 때마다 귀무가설을 기각하는 경우, 모든 유의수준 $\alpha\in(0,1]$에 대해 언제나 유효한(anytime-valid) 1종 오류 보장을 제공합니다. 고유한 비대칭성으로 인해 2종 오류에는 이러한 보장이 존재하지 않습니다. 로그 증분의 하위 꼬리(lower tail)에 확률이 과도하게 집중되면 축적된 모든 증거를 무효화하는 단 한 번의 치명적인 베팅으로 이어질 수 있기 때문입니다. 본 논문은 이러한 하위 꼬리 확률에 대한 서로 다른 가설들이 순차적 검정의 2종 오류에 대한 서로 다른 한계로 어떻게 이어지는지 연구합니다. 이 한계들은 모두 하나의 마스터 부등식으로 귀결되며, 이는 축적된 e-거듭제곱의 하한이 $\log\frac{1}{\alpha}$을 초과하는 크기라는 단 하나의 값에서 평가된 e-변수들의 (역)적률생성함수의 단측 르장드르 변환(Legendre transform) 측면에서 고정된 시계 및 순차적으로 유의수준 $\alpha$에서의 2종 오류를 제한합니다. 또한 이 단계는 제약된 정보 투영(constrained information projection)을 정확히 추출한다는 의미에서 무손실(lossless)입니다. 본 논문에서 제시되는 모든 한계는 위 함수의 특정 우세 함수(majorant)를 통해 얻어지는 따름정리입니다. 고려된 가설들은 유한한 음의 적률, 승리 측의 적률을 동반한 지수적으로 작은 폭락 확률, 조건부 분산을 가진 자산 하한 및 분산에 의해 결정되는 가우시안 영역과 척도에 의해 결정되는 지수 영역 사이를 보간하는 번스타인(Bernstein) 변형, 서브-가우시안 또는 유계 기울기 하위 꼬리, 유계 로그 증분, 그리고 우세 함수가 참값이 되는 i.i.d. 증분입니다. 우리는 또한 경험적 번스타인 변형을 제공합니다. 각 가설은 보유한 e-변수에 대한 조건으로 해석되거나, 가장 약한 조건을 무상으로 만족하는 우도비 자체 대신 가능도(likelihood) 비의 근사치를 사용해 베팅할 때 발생하는 비용으로 해석될 수 있습니다.

arXiv:2607.03951v2cs.SE공통 태그 hypothesis testing

Why3-py: 파이썬에서의 가설 검정 및 메타분석 정밀 검증을 위한 도구

Why3-py: A Tool for Formal Verification of Hypothesis Testing and Meta-Analysis in Python

과학 연구에서 재현성 위기(reproducibility crisis)가 널리 인식됨에 따라, 여러 연구의 통계 분석 결과를 통합하는 메타분석(meta-analysis)의 중요성이 더욱 커지고 있습니다. 그러나 통계적 방법론은 모호하고 암묵적인 기본 가정을 포함하는 경우가 많아, 잘못된 적용과 해석으로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 통계용 파이썬(Python) 프로그램을 위한 정밀 검증(formal verification) 프레임워크를 제안합니다. 구체적으로는 Why3 검증 플랫폼을 위한 파이썬 프론트엔드인 Why3-py를 제시하며, 이는 파이썬 코드를 검증 지향적인 WhyML 표현으로 변환하여 파이썬의 동적 타이핑 및 런타임 다형성에서 비롯되는 기술적 난제들을 해결합니다. 나아가 메타분석 방법론의 검증을 지원하도록 StatWhy 도구를 확장합니다. 메타분석 연구자들은 이러한 도구를 통해 간과된 가정과 분석의 오용을 식별하고, 파이썬 코드 내에서 가설 검정 및 메타분석 방법론이 올바르게 사용되었는지 검증할 수 있습니다.

arXiv:2412.12807v4math.ST공통 태그 hypothesis testing

베이즈 최적 이상을 요구하라: 선택적 가설 검정을 위한 미결정 이론

Ask for More Than Bayes Optimal: A Theory of Indecisions for Selective Hypothesis Testing

선택적 분류는 고위험 시나리오에서 자동 의사결정을 위한 강력한 도구로, 분류기가 확신할 때만 행동하고 불확실성이 높을 때는 기권할 수 있게 한다. 목표 정확도가 주어졌을 때, 우리의 목표는 자동화하지 않는 관측치인 미결정의 수를 최소화하는 것이다. 어려운 문제에서는 결정을 내리지 않고 기권하지 않으면 목표 정확도에 도달할 수 없을 수 있다. 미결정을 사용하면 전체 미결정 질량을 최소화하면서 베이즈 오류율보다 낮은 오분류율을 목표로 할 수 있다. 우리는 선택적 분류에서 최적 위험의 특성을 제공하고, 최적 미결정 선택을 가능하게 하는 연속성과 단조성 성질을 확립한다. 우리는 네이먼-피어슨 검정 프레임워크를 통해 선택적 추론을 재검토하며, 여기서 미결정은 고정된 제1종 오류 확률 하에서 제2종 오류를 제어할 수 있게 한다. 분류와 검정 모두에 대해 보정 방법을 제안하고, 플러그인 분류기의 초과 위험과 정확도 기반 보정에 의해 생성되는 초과 미결정 질량을 분석한다. 이진 가우시안 혼합 모델에서, 우리는 지수 수준의 상전이를 확인하고, 최소한의 미결정이 클래스 분리가 낮은 경우에도 거의 최적의 정확도를 달성할 수 있음을 보인다. 가우시안 혼합과 실제 데이터셋에 대한 실험은 미결정이 선택적 정확도를 어떻게 향상시킬 수 있는지를 보여준다.

arXiv:2607.21542v1cs.LG공통 태그 hypothesis testing

제로-플로우 이표본 검정

Zero-Flow Two-Sample Tests

두 표본 집합이 동일한 분포에서 추출되었는지 판단하기 위한 이표본 검정에 대한 새로운 접근법을 제안한다. 이 검정은 제로-플로우(zero-flow) 기준에 기반한 통계적 불일치에 구축되며, 이를 제로-플로우 불일치(zero-flow discrepancy, ZFD)라고 부른다. ZFD의 타당성을 증명하고, 제로-플로우 이표본 검정(zero-flow two-sample test, ZF2ST)이라고 명명한 실용적인 검정 절차를 제안한다. 핵심 아이디어는 두 분포에서 온 표본이 국소적으로 어떻게 정렬되지 않는지를 학습하고, 그로부터 얻은 방향성 패턴을 분포 차이의 증거로 사용하는 것이다. 증인(witness) 학습과 가설 평가를 분리함으로써 ZF2ST는 유효한 통계적 보정(calibration)을 유지하면서 유연한 신경망을 사용할 수 있다. 증인 학습을 위해 회귀 기반 접근법과 검정력(power) 최대화 접근법을 모두 개발한다. 합성 및 이미지 데이터셋에서의 실험은 ZF2ST가 잘 보정된 제1종 오류(type-I error)를 유지하면서 구조화된 분포 변화에 대해 강한 검정력을 달성할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.