현대의 순차적 모니터링 문제는 여러 지표를 다루는 경우가 많으며, 이때 우리는 여러 데이터 스트림을 동시에 모니터링하고 충분한 증거가 확보되면 조치를 취할 수 있습니다. 신뢰 시퀀스(Confidence Sequence, CS)는 이러한 연속적 모니터링을 위한 자연스러운 도구입니다. 그러나 유계 벡터 평균의 경우, 기존의 다변량 CS는 긴밀하지만(tight) 계산적으로 다루기 어렵거나(intractable), 계산은 빠르지만 보수적입니다. 이를 해결하기 위해 본 논문에서는 1차원 베팅 기반 CS를 고차원으로 확장하는 세 가지 방법인 가중치 적용 본페로니 영역, 동등한 최대 자산 형태, 포트폴리오 영역을 연구합니다. 포트폴리오 방식은 특히 고차원에서 일반적으로 훨씬 더 긴밀하지만, 경계 및 부피와 같은 특성을 닫힌 형태(closed form)로 구할 수 없습니다. 이처럼 더 긴밀한 구조를 실질적으로 활용할 수 있도록, 통계적 타당성을 유지하면서 포트폴리오 영역을 다루기 쉽게 외접 근사하는 경계 상자(bounding box), $\ell_p$-타원체, 그리고 이들의 교집합을 제안합니다. 우리는 모든 구조 간의 집합 관계를 증명하고, 이러한 근사법이 (i) 다루기 힘든 포트폴리오에 근접한 영역을 달성하고, (ii) 기존의 계산 가능한 다변량 CS를 크게 능가하며, (iii) 다중 지표 A/B 테스팅 및 모델 비교와 같은 실용적인 사용 사례를 가능하게 함을 실증적으로 보여줍니다.
검정 슈퍼마팅게일(test supermartingale)을 이용한 안전한 가설 검정에서 빌의 부등식(Ville's inequality)은 자산 과정(wealth process)이 처음으로 $\frac{1}{\alpha}$을 초과할 때마다 귀무가설을 기각하는 경우, 모든 유의수준 $\alpha\in(0,1]$에 대해 언제나 유효한(anytime-valid) 1종 오류 보장을 제공합니다. 고유한 비대칭성으로 인해 2종 오류에는 이러한 보장이 존재하지 않습니다. 로그 증분의 하위 꼬리(lower tail)에 확률이 과도하게 집중되면 축적된 모든 증거를 무효화하는 단 한 번의 치명적인 베팅으로 이어질 수 있기 때문입니다. 본 논문은 이러한 하위 꼬리 확률에 대한 서로 다른 가설들이 순차적 검정의 2종 오류에 대한 서로 다른 한계로 어떻게 이어지는지 연구합니다. 이 한계들은 모두 하나의 마스터 부등식으로 귀결되며, 이는 축적된 e-거듭제곱의 하한이 $\log\frac{1}{\alpha}$을 초과하는 크기라는 단 하나의 값에서 평가된 e-변수들의 (역)적률생성함수의 단측 르장드르 변환(Legendre transform) 측면에서 고정된 시계 및 순차적으로 유의수준 $\alpha$에서의 2종 오류를 제한합니다. 또한 이 단계는 제약된 정보 투영(constrained information projection)을 정확히 추출한다는 의미에서 무손실(lossless)입니다. 본 논문에서 제시되는 모든 한계는 위 함수의 특정 우세 함수(majorant)를 통해 얻어지는 따름정리입니다. 고려된 가설들은 유한한 음의 적률, 승리 측의 적률을 동반한 지수적으로 작은 폭락 확률, 조건부 분산을 가진 자산 하한 및 분산에 의해 결정되는 가우시안 영역과 척도에 의해 결정되는 지수 영역 사이를 보간하는 번스타인(Bernstein) 변형, 서브-가우시안 또는 유계 기울기 하위 꼬리, 유계 로그 증분, 그리고 우세 함수가 참값이 되는 i.i.d. 증분입니다. 우리는 또한 경험적 번스타인 변형을 제공합니다. 각 가설은 보유한 e-변수에 대한 조건으로 해석되거나, 가장 약한 조건을 무상으로 만족하는 우도비 자체 대신 가능도(likelihood) 비의 근사치를 사용해 베팅할 때 발생하는 비용으로 해석될 수 있습니다.
테스트 수퍼마틴게일을 사용하는 안전한 가설 검정에서, wealth process가 처음 $1/\alpha$를 넘을 때 귀무가설을 기각하면 Ville 부등식은 모든 유의수준 $\alpha\in(0,1]$에 대해 anytime-valid 제1종 오류 보장을 제공한다. 내재된 비대칭성 때문에 제2종 오류는 다르게 거동한다. 단순 귀무 및 대립 가설에 대해 후자와 관련하여 두 가지를 증명한다. 첫째, Kelly betting과 성장률 최적 e-variable이 극대화하는 평균 성장률 $\mathbb{E}_{P_1}[\log E]$, 즉 e-파워는 그 자체로는 아무것도 제한하지 않는다. 모든 수준 $c>0$, 모든 $\alpha$ 및 horizon $t$에 대해 조건부 e-파워가 정확히 $c$인 e-variable을 구성할 수 있으며, 시점 $t$까지 기각하지 않을 확률을 임의로 1에 가깝게 만들 수 있다. 이는 결국 기각을 강제하지만 유한 horizon 보장은 따르지 않는다. 둘째, 제2종 오류를 실제로 제어하는 양은 e-variable의 Chernoff-Stein 지수 $\Lambda(E)=\sup_{s\ge0}\{-\log \mathbb{E}_{P_1}[E^{-s}]\}$이며, 그 범위는 정확히 결정된다: $\sup_E \Lambda(E)=\mathrm{KL}(P_0\|P_1)$, 고전적인 Chernoff-Stein 지수이며 e-variable별 형태 자체의 상한이다. 각 단계마다 Hölder 부등식을 한 번 조건부로 적용하면, 독립성이나 곱 구조 없이 임의의 필터링된 확률공간 위의 모든 테스트 수퍼마틴게일에 대해 이를 얻을 수 있다. i.i.d. 경우에는 더하여 그 상한이 정확히 맞으며, 어떤 것도 이를 달성하지 못한다. e-파워는 자체 상한 $\mathrm{KL}(P_1\|P_0)$을 갖으며, 이 상한은 가능도비 $R$에 의해 $P_0$-a.s. 유일하게 달성된다. 두 최적값은 인수 순서가 반대인 동일한 divergence이며, 평탄화된 family $R^{\beta}/\mathbb{E}_{P_0}[R^{\beta}]$의 양 끝에서 나타난다: $\beta\downarrow0$일 때 상한, $\beta=1$에서 $R$. 어떤 $\beta$가 최적인지는 horizon에 의해 정확히 결정된다. $R$은 $t=\log(1/\alpha)/\mathrm{KL}(P_1\|P_0)$에서만 최적이며, 그보다 작은 $t$에서는 sharpening $(\beta>1)$에, 그보다 큰 $t$에서는 flattening에 의해 능가된다.
조건부 독립성 검정은 근본적이지만 본질적으로 어렵습니다: 추가적인 가정 없이는 일반적으로 제1종 오류 제어가 불가능합니다. "Model-X" 패러다임은 관련 조건부 분포에 대한 정확한 지식을 가정함으로써 이 어려움을 해결합니다. 고전적인 일회성 검정에서는 이 가정에서의 작은 편차가 때때로 허용될 수 있지만, 기존의 순차적 조건부 독립성 검정은 일반적으로 Model-X 조건부가 정확히 알려져 있어야 하므로, 이를 대신 추정해야 할 때 취약해집니다. 우리는 이러한 추정 오차에 대해 훨씬 더 강인한 새로운 접근 방식을 제안합니다. 우리의 방법은 정규화 방식과 절단-이동 보정 전략과 함께, 적응형으로 최적화된 커널 조건부 독립 통계량에 베팅에 의한 검정(testing-by-betting)을 적용합니다. 이러한 수정 사항들은 고차원 합성 벤치마크와 실제 공정성 작업 전반에 걸쳐 높은 검정력을 유지하면서 제1종 오류 증폭을 크게 줄여, 기존의 순차적 Model-X 접근 방식을 능가합니다. 코드는 https://github.com/he-zh/SKCI에서 확인할 수 있습니다.
통계학과 머신러닝의 근본적인 가정은 '미래가 과거와 같을 것'이라는 것으로, 이는 교환가능성(exchangeability)으로 형식화된다: 결합 데이터 분포가 순서 불변이어야 한다는 것이다. 실제로 이 가정은 시간에 따른 분포 변화(distribution shift)로 인해 자주 위반된다. 교환가능성 위반을 조기에 탐지하는 것은 성능 저하를 방지하고 모델 재학습과 같은 적시 개입을 가능하게 하는 데 매우 중요하다. 컨포멀 검정 마팅게일(conformal test martingales)은 컨포멀 p-값의 균일성에 베팅함으로써 보장된 오경보율(false-alarm rate) 제어와 함께 순차적 교환가능성 검정을 위한 유연하고 분포 무관(distribution-free) 프레임워크를 제공한다. 플러그인 마팅게일 및 혼합 기반 전략과 같은 대안들이 존재하지만, 단순 점퍼(Simple Jumper)와 같은 계산 효율적인 기준선은 평균 위치 이동(mean location shift) 탐지에 국한된다. 우리는 단순 점퍼를 고차 모멘트(higher-order moments)로 확장하는 이동 르장드르 다항식(shifted Legendre polynomials) 기반의 컨포멀 검정 마팅게일 계열을 제안한다. 단순 르장드르 점퍼(Simple Legendre Jumper)는 선형 베팅 함수를 임의 차수의 다항식으로 대체하여 분산, 왜도 및 기타 고차 편차를 신속하게 탐지할 수 있게 한다. 곱 르장드르 점퍼(Product Legendre Jumper)는 여러 다항식 차수를 단일 베팅 함수로 결합하지만, 점핑 세금(jumping tax)이라 불리는 지수적 상태 공간 증가 문제를 겪는다. 이를 해결하기 위해, 우리는 평균장 근사(mean-field approximation)를 활용하여 최소한의 검정력 손실로 복잡도를 단계당 상수 시간으로 줄이는 변분 르장드르 점퍼(Variational Legendre Jumper)를 도입하며, 이는 실시간 분포 변화 모니터링을 위한 표현력 있고 확장 가능한 프레임워크를 제공한다.
고정된 크기의 벤치마크가 모델 평가에서 효율성과 신뢰성 간 불균형을 초래한다는 문제를 해결하기 위해, 순차적 검정(sequential testing)을 기반으로 한 적응형 평가 프레임워크를 제안한다. 이 프레임워크는 한계 수익 감소 탐지 및 최소 탐지 가능 효과 크기 등 사용자 정의 중단 기준을 결합하여, Open VLM Leaderboard에서 통계적 유의성을 유지하면서 고정 크기 평가 대비 계산 비용을 최대 80%까지 절감함을 입증한다.
순차적 변화 감지 절차가 멈춘 이후 어떠한 분포 가정 없이 변화점(changepoint)의 위치를 추정하는 분포-무관(distribution-free) 프레임워크를 제안하며, 등각 검정 마팅게일(conformal test martingales)을 기반으로 유한 표본 피복 보장과 신뢰 집합(confidence set)의 비점근적 크기 경계를 제공한다. 기존 연구와 달리 사전·사후 변화 분포 계층의 사전 지정 없이도 유효한 감지 후 추론이 가능함을 시뮬레이션 및 실제 데이터 실험으로 입증하였다.
PDE 역문제(inverse problem)에서 잔차 노름(residual norm) 기반 진단이 구조적 모델 오류를 감지하지 못하는 한계를 극복하기 위해, 공간적 잔차 패턴 전문가 포트폴리오를 활용한 e-프로세스 기반 순차 진단법을 제안한다. 이 방법은 관측 일부만으로도 Morozov 불일치 검사나 배치 투영 검정보다 일찍 잘못 명세된 모델을 감지하며, 타원형 확산·Stokes 유동·빙하 빙류 역전 등 세 가지 역문제에서 유효성을 실증한다.
우리는 출력 샘플을 기반으로 알고리즘의 차분 프라이버시(DP)를 평가하는 새로운 감사기를 제시합니다. 이러한 경험적 감사기는 알고리즘의 정확성과 구현 버그를 확인하는 데 일반적으로 사용됩니다. 대부분의 기존 감사기는 배치(batch) 기반이거나 전통적인 $(\varepsilon,\delta)$-DP 개념을 대상으로 하며, 일반적으로 두 가지 모두에 해당합니다. 본 연구에서는 전체 프라이버시 동작이 단일 트레이드오프 곡선으로 포착되는 표현력이 높은 프라이버시 개념인 $f$-DP로 초점을 전환합니다. 우리의 감사기는 이론과 시뮬레이션에 의해 뒷받침되는 통계적 유의성 보장과 함께 전체 프라이버시 스펙트럼에 걸친 위반을 감지합니다. 무엇보다 중요한 것은, 이전 연구와 대조적으로, 우리의 감사기는 입력으로 사용자가 지정한 샘플 크기를 요구하지 않는다는 점입니다. 오히려 결론을 내리는 데 필요한 거의 최적의 샘플 수를 적응적으로 결정하여, 많은 감사 연구에서 흔히 볼 수 있는 과도하게 큰 샘플 크기를 피합니다. 이러한 샘플링 비용의 감소는 DP-SGD와 같은 비용이 많이 드는 학습(training) 절차에 특히 유리합니다. 우리의 방법은 화이트박스 및 블랙박스 설정을 모두 지원하며 원-런(one-run) 프레임워크에서도 실행할 수 있습니다.