불완전한 측정 장치(진단 검사, 분류기, 또는 대규모 언어 모델)를 사용하여 모집단 내 특정 범주의 유병률(prevalence)을 추정하는 것은 과학, 공중보건, 온라인 신뢰 및 안전 분야에서 매우 중요합니다. 표준적인 접근 방식들은 알려진 장치의 오류율을 보정하지만, 이러한 오류율이 여러 모집단에 걸쳐 일정하게 유지된다고 가정합니다. 본 논문에서는 공변량 변화(covariate shift) 상황에서 이러한 가정이 무너지며, 단순 평균이 아닌 입력 특징(feature)을 조건으로 캘리브레이션을 강제하는 다중 캘리브레이션(multicalibration)이 이러한 변화 하에서도 편향 없는 유병률 추정에 충분함을 보입니다. 표준 캘리브레이션 및 정량화 방법들은 이러한 보장을 제공하지 못합니다. 본 연구는 공정성에 관한 최근의 이론적 연구를 거의 모든 학문 분야에 걸친 유서 깊은 측정 문제와 연결합니다. 시뮬레이션을 통해 표준 방법들은 변화의 크기에 따라 증가하는 바이어스(bias)를 보이는 반면, 다중 캘리브레이션된 추정기는 거의 0에 가까운 바이어스를 유지함을 확인합니다. 본 논문에서는 주로 LLM에 초점을 맞추어 논의하지만, 이론적 결과는 모든 분류(classification) 모델에 적용됩니다. 두 가지 실증적 응용 사례인 미국 커뮤니티 설문조사(ACS)를 활용한 미국 주별 고용률 추정과 LLM을 활용한 4개국 정치 텍스트 분류를 통해, 다중 캘리브레이션이 실제 환경에서 바이어스를 크게 감소시킴을 입증하는 동시에, 타깃 모집단 간에 차이가 발생할 수 있는 주요 특징 차원을 캘리브레이션 데이터가 포괄해야 함을 강조합니다.
데이터 동화(data assimilation)는 부분적이고 잡음이 있는 관측으로부터 동역학적 상태를 추정한다. 기존의 고전적 앙상블 필터는 효율적이지만, 유한 표본 공분산과 아핀 가우시안 분포로 인해 분석 갱신이 제한된다. 본 논문에서는 조건부 플로우 매칭(conditional flow matching)을 사용하여 예측 앙상블을 고전적 기준선 필터로부터 분석 앙상블로 수송하는 Flow Ensemble Filter(FlowEF)를 제안한다. FlowEF는 학습 시에는 국소화된 가우시안 소스를 사용하고, 배포 시에는 기준선 필터의 예측 앙상블 구성원을 수송하며, 속도장(velocity field)을 해당 기준선 필터의 앙상블과 관측값에 조건화한다. 따라서 제안한 모델은 각 기준선 앙상블을 독립적으로 매핑하면서도 비선형 갱신을 학습한다. 희소하게 관측되는 동역학계에서 FlowEF는 네 가지 고전적 앙상블 필터 모두에 비해 결정론적 지표와 확률론적 지표를 모두 개선한다. 또한 최신 생성형 데이터 동화 모델 중에서도 가장 우수한 성능을 달성한다.
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.
우리는 순차적 모델 학습(sequential model training) 환경을 위한 분포 무관(distribution-free) 예측 추론 방법인 롤링 컨포멀 예측(Rolling Conformal Prediction, rolling-CP)을 소개한다. 구체적으로, 데이터 스트림 $(X_1,Y_1),(X_2,Y_2),\dots$가 주어졌을 때, 각 시점 $n$에서 학습된 모델은 관측된 이력 $\{(X_i,Y_i)\}_{i<n}$에 의존할 수 있다. 이러한 설정은 대규모 데이터셋에 대한 단일 패스(one-pass) 학습, 그리고 배포 중 언어 모델의 지속적 미세조정 또는 테스트 시점 적응(test-time adaptation)을 포함한 현대의 순차적 학습에서 자연스럽게 나타난다. Rolling-CP는 먼저 새로 들어오는 각 관측값을 현재 예측기에 대해 보정(calibration)한 다음, 이를 이후의 학습에 편입시킨다(roll into). 이를 통해 데이터 분할이 필요하지 않게 된다. 놀랍게도, 시점 $n=1,2,\dots$의 모델들이 서로 완전히 다른 특성과 정확도 수준을 가질 수 있음에도 불구하고, 교환 가능(exchangeable) 데이터에 대해서는 안정성에 대한 어떠한 가정이나 모델 학습 과정에 대한 어떠한 제약 없이도 주변 커버리지(marginal coverage) 보장을 확립할 수 있으며, 이는 익숙한 보편적인 2배 인자 보장(목표 수준 $1-\alpha$ 대비 최악의 경우 $1-2\alpha$ 커버리지를 보장)의 형태를 띤다. i.i.d. 데이터 스트림의 경우, 시간에 대해 균등하게(uniformly) 성립하는 고확률 학습 조건부(training-conditional) 유효성을 추가로 증명하며, 안정성 조건 하에서는 커버리지 보장이 $1-\alpha$에 가까워지도록 더욱 정교해진다. 순차 회귀, 다중 클래스 SGD, 단일 패스 신경망 학습에 대한 수치 실험은 rolling-CP의 실용적 효과를 추가로 보여준다.
본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.
본 논문에서는 경계가 없는 리만 다양체(Riemannian manifold)에서의 비모수적 접벡터장(tangent vector field) 회귀를 다룬다. 서로 다른 지점에서의 반응 변수는 서로 다른 접공간(tangent space)에 존재하므로, 제안하는 커널(kernel) 추정량은 먼저 인근의 반응 변수들을 대상 접공간으로 평행이동(parallel transport)시킨 후 부피가 보정된 국소 평균을 형성한다. 먼저 이 추정량의 균등 2차 바이어스(bias), 유한 대역폭 공분산, 확률적 수렴 속도를 유도한다. 동시 추론(simultaneous inference)을 위해 접노름(tangent norm)은 단위 접번들(unit tangent bundle) 상에서의 상한(supremum)으로 표현된다. 정확한 공분산 백색화(whitening)를 통해 기저 다양체를 따라서는 차수가 $h$이고 파이버(fibre)를 따라서는 차수가 1인 상관 길이를 갖는 단위 분산 가우시안 장(Gaussian field)을 얻는다. 이 가우시안 장의 국소 공분산 기하학은 명시적인 내재적 상수를 갖는 굼벨 극한(Gumbel limit)으로 이어진다. 이 극한을 가우시안 근사 및 교차 적합 공분산 추정과 결합하여 회귀장에 대한 실행 가능한 동시 신뢰 튜브(simultaneous confidence tube)를 도출한다. 나아가 대역폭 선택 및 고차 바이어스 보정을 통한 개선된 유한 표본 추론에 대해 논의한다. 다양한 다양체에 대한 시뮬레이션은 제안된 추론 절차를 뒷받침한다. 전 지구적 바람 데이터의 무작위 재구성은 튜브의 단면이 공간적으로 변화하는 불확실성을 어떻게 설명하는지 보여준다.
시공간적 또는 인구통계학적 변수와 같은 계층화 요인이 존재하는 환경에서의 분류를 위해 Simultaneous Latent Budget Trees라는 확률적 머신러닝 프레임워크를 제안한다. 자식 노드를 동시 혼합 모델의 잠재 구성 요소로 해석하는 모델 기반 분할 규칙을 통해 조건부 분할을 최적화하며 신경망 관점에서 최소제곱법으로 파라미터를 추정한다.
Manly 변환 혼합 모델의 더 빠른 구현 방식을 제안한다. FastManly라 불리는 이 방법은 전통적인 EM에서 사용하는 Nelder-Mead 대신, EM 그래디언트(EM gradient) 알고리즘에서 최적화를 위해 뉴턴 방법(Newton's method)을 사용한다. 그래디언트와 전체 헤시안을 유도하였다. 시뮬레이션 결과, 눈에 띄는 속도 향상과 함께 성능이 개선됨을 보였다.
신경과학 연구에서는 신경영상을 활용하여 서로 다른 개인의 뇌 네트워크를 측정하는 것이 일상화되었습니다. 이러한 네트워크는 일반적으로 인접 행렬(adjacency matrix)로 표현되며, 각 셀에는 한 쌍의 뇌 영역 간 연결성 요약 정보가 포함됩니다. 네트워크 간 노드는 공유되지만 엣지는 서로 다른 이러한 다중 네트워크 데이터를 분석하기 위한 방법론을 다루는 통계학 문헌이 점차 등장하고 있습니다. 그러나 이상치 탐지(outlier detection)라는 중요한 문제에 대해서는 실질적인 고려가 거의 이루어지지 않았습니다. 특히 특정 피험자의 경우 신경영상 데이터의 품질이 너무 낮아 네트워크를 신뢰성 있게 재구성할 수 없습니다. 이러한 피험자의 경우 결과로 도출되는 인접 행렬이 대부분 0이거나 정상적으로 기능하는 뇌와 일치하지 않는 기이한 패턴을 보일 수 있습니다. 이러한 이상치 네트워크는 영향점(influential points)으로 작용하여 후속 통계 분석을 오염시킬 수 있습니다. 본 논문에서는 인접 행렬에 대한 위계적 일반화 선형 모델(hierarchical generalized linear model) 기반의 영향력 측도(influence measure)를 활용하는 간단한 네트워크 이상치 탐지(ODIN, Outlier DetectIon for Networks) 방법을 제안합니다. 효율적인 계산 알고리즘을 설명하고, 시뮬레이션과 UK Biobank 데이터 적용을 통해 ODIN을 실증합니다. ODIN은 중간 수준부터 극단적인 수준의 이상치를 식별하는 데 성공했습니다. 이러한 이상치를 제거하면 다운스트림 응용 분야의 추론(inference) 결과가 크게 달라질 수 있습니다.
예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.
정보시스템(IS) 연구자들은 관찰 패널 데이터에서 인과 효과를 추정하기 위해 차분의 차분(DiD) 및 도구 변수(IV) 같은 준실험(quasi-experimental) 방법을 점점 더 많이 사용한다. 이러한 설계를 정당화하는 검정력(power) 계산은 i.i.d. 오류를 가정하지만, 더 근본적인 문제는 클러스터-강건(robust) 계산기조차 포착하지 못하는 것이다. 우리는 9837개 매개변수 조건(약 980만 개 데이터셋)에 걸친 Monte Carlo 연구를 보고하고, 계획 대비 달성 검정력 격차를 분해한다. 시계열 상관(serial-correlation) 성분은 rho가 알려져 있을 때 AR(1)을 고려한 계산기로 복원 가능하며, rho를 짧은 사전 기간에서 추정해야 할 때는 부분적으로 가능하지만, 패널 이탈(attrition), 시차 도입(staggered-adoption) 바이어스, 평행 추세(parallel-trends) 사전검정은 어떤 폐형식 공식으로도 포착되지 않는다; 외생적 이탈만으로도 IS 연구에서 흔히 쓰는 수백~수천 규모 표본에서 약 8~11 퍼센트포인트를 잃는다. 처치와 상관되고 결과에 의존하는 이탈은 검정력 손실뿐 아니라 바이어스를 유발한다. IV의 경우 1단계 F를 고정하면 더 큰 N은 검정력을 높이지도 배제 제약(exclusion restriction) 바이어스를 줄이지도 않지만, 고정된 도구 변수에 더 많은 데이터는 1단계를 더 날카롭게 하므로, 식별은 표본 크기가 아니라 도구 변수 강도에 달려 있다.
학습 데이터에 드물고 큰 분포 변화가 포함된 경우 새로운 환경에서의 예측을 연구한다. 앵커 회귀(anchor regression)는 환경별 제곱 평균 잔차의 평균에 페널티를 부과하며, 학습 변화의 2차 모멘트로 정해지는 타원체 내 변화에 대비한다. 희귀 변화까지 포괄하려면 큰 페널티가 필요할 수 있어 타원체가 모든 방향으로 커지고, 흔한 환경에서의 정확도가 떨어질 수 있다. 우리는 제곱 평균 잔차의 평균을 꼬리 평균(tail average)으로 바꾼 CVaR 앵커 회귀를 제안한다. 예측 위험에 CVaR이나 GroupDRO를 직접 적용하는 경우와 달리, 노이즈 수준이 높다는 이유만으로 특정 환경에 더 큰 가중치를 주지 않는다. 이질분산(heteroscedastic) 노이즈를 허용하는 선형 구조 모델에서 정확한 최악 경우 위험 보장을 증명한다. 이산 환경에서는 CVaR 꼬리 비율(tail fraction)을 줄일수록 견고성 집합이 타원체에서 학습 변화와 그 음의 스케일된 볼록 껍질(convex hull)로 넓어지며, 별도 매개변수가 그 스케일을 조절한다. 예시를 통해 흔한 환경의 정확도는 유지하면서 희귀 변화에 대한 보호를 개선할 수 있음을 보인다. 뉴욕시 택시 데이터로 방법을 시연한다.
비선형 혼합효과(Nonlinear Mixed Effects, NLME) 모델은 계층적·종단 데이터를 분석하기 위해 약동학(pharmacometrics) 및 관련 분야에서 널리 쓰인다. 그러나 매개변수와 랜덤 효과(random effects) 수가 늘면, 주변 가능도(marginal likelihood)를 최대화하는 전통적 방법은 계산 비용이 커진다. 본 논문은 NLME 모델 적합을 위한 확장 가능한 대안인 변분 기대 최대화(Variational Expectation Maximization, VEM) 알고리즘을 다룬다. VEM은 확률 그래프 모델(probabilistic graphical models) 맥락에서 처음 도입되었고 이후 변분 오토인코더(variational autoencoders)를 통해 널리 알려졌으나, NLME 모델링에는 광범위하게 적용되지 않았다. 유연한 변분군(variational families)과 역전파 자동 미분(reverse-mode automatic differentiation)을 활용하면 VEM은 주변 가능도를 효율적으로 최대화할 수 있으며, 15,000개 이상의 모집단(population) 매개변수를 갖는 NLME 모델까지 확장 가능하다. 본 연구는 VEM을 상세히 기술하고 다른 NLME 적합 알고리즘과 비교하며, 계산 실험을 통해 확장성을 보인다. Pumas 통계 소프트웨어로 두 가지 시험 모델을 적합했다: 1) 표준 warfarin 모델, 2) 불필요하게 과매개변수화된 DeepNLME Friberg 모델(모집단 매개변수 15,410개, 랜덤 효과 16개). warfarin 모델은 VEM의 정확성을 보이기 위해 끝까지 적합했고, DeepNLME Friberg 모델은 장난감(toy)이지만 대규모인 모델에서 VEM의 확장성을 보여준다. VEM은 실용적인 반복당 비용으로 수백 번의 반복에 걸쳐 로그 가능도(log likelihood)를 꾸준히 개선하는 반면, FOCE는 하루 안에 한 번의 반복도 완료하지 못했다. 해당 모델은 작은 데이터셋에 대해 의도적으로 과매개변수화되어 과적합(over-fits)하므로, 이 실험이 확립하는 것은 VEM이 이 규모의 모델 목적 함수를 실용적 비용으로 최적화한다는 점이다. 진정으로 유용한 대규모 모델에 VEM을 적용하는 것은 향후 연구로 남긴다.
클러스터링은 레이블이 없는 데이터를 여러 그룹으로 분할하는 비지도 학습 기법이다. 기존 대부분의 방법은 클러스터 수나 이웃 크기와 같이 사용자가 지정해야 하는 매개변수를 요구한다. 반면 우리는 수치적 매개변수 조정을 없애는 완전히 데이터 주도적인 방법인 automatic depth-based local center clustering(A-DLCC)을 제안한다. A-DLCC는 $\beta$-integrated local depth를 사용하여 여러 지역성 수준에서 일관되게 중심에 있는 점, 즉 안정적 exemplar인 local center를 식별하고, 이들을 대표성(representativeness)에 따라 순위화한다. 각 local center는 유사한 점들의 그룹을 유도하며, 그룹 수준 유사도는 제안한 비모수적 지표인 group-level local similarity로 측정한다. 병합을 안내하기 위해 그래프 이론의 bottleneck path 개념을 통합하며, 이는 우리의 적응형 병합 기준의 기반이 된다. 이 기준에 따라 그룹이 자기 자신보다 더 잘 도달하는 이웃에 흡수되거나, 양쪽 모두가 각자의 배경보다 더 도달 가능하다고 보는 이웃과 결합되는 단일 점진적 병합(agglomeration) 규칙을 설계한다. 모든 병합은 추가로 configuration-model null이 기대하는 것보다 강한 접촉(contact)에 의해 이루어져야 한다. 이 규칙은 클러스터 수를 자동으로 추정하고 병합을 중단할 시점을 결정한다. 합성 데이터와 실제 데이터에 대한 실험은 A-DLCC가 매개변수 조정 없이 해석 가능한 클러스터링 결과를 생성함을 보여준다.
통계학의 고전적 질문 중 하나는, 관측 불가능한 대상에 대해 추론할 때 어떤 관측 가능한 양에 조건을 걸 것인가이다. 비모수적 불확실성 정량화에서 conformal prediction의 경우, 표준적인 주변(marginal) validity는 의사결정의 근거가 되는 예측값에서 제한된 해상도만 제공하며, 공변량(covariate)에 대한 완전 조건부 보장은 증명 가능하게 달성할 수 없다. 우리는 Prediction-Interval-Conditional Prediction Intervals(PICPIs)라 부르는 예측 기반 조건부화 프레임워크를 도입하여 이 공백을 메운다. 형식적으로 PICPI는 예측 모델 $p$, 맥락 공변량 $X$, 결과 $Y$에 대해 자기 일관성(self-consistency) 조건 $$\mathbb{E} [Y \mid p(X) \in I] \in I,$$를 만족하는 구간 $I$이다. 따라서 한 구간은 예측값의 층(stratum)을 동시에 정의하고, 그 층에서 결과의 평균이 동일한 구간 안에 있음을 보증한다. 이 자기 일관성 조건은 원래 예측을 바꾸지 않으면서 데이터 적응적(data-adaptive) 층을 만들어낸다. 이러한 구간은 실용적인 알고리즘으로 구성할 수 있다. 예측 분포의 regularity 하에서, 구성된 구간은 임의로 작은 비율을 제외한 모든 예측값을 덮으며, 너비는 대수(logarithmic) 인자와 예측 오차를 제외하면 $n^{-1/3}$ 비율로 감소한다. 더 나아가 이러한 지역적으로 보정(calibrated)된 구간을 식별하는 것은 하류 의사결정에 정보를 제공할 수 있다. 확률적 예측과 다중 클래스 분류에서 PICPI에 대한 추론 절차를 이론적 보장과 함께 유도한다. PICPIs를 기존 구간 기반 baseline과 비교한 실증 결과를 제시한다.
렙토 회귀(Lepto-regression)는 목표 특징(feature)을 그 자신에 대해 회귀 트리(Regression Tree)로 구성하는 머신러닝 과정으로 정의된다. 이는 표본 구조의 중요한 속성에 관한 정보를 드러낼 가능성이 있는, 모델 비의존적(model-free)인 새로운 방법이다. 그러나 렙토-분산(lepto-variance)이 담고 있는 정보가 무엇인지, 그리고 이것이 표본의 다른 잘 알려진 통계량과 어떤 관계가 있는지는 아직 명확하지 않다. 한 가지 중요한 발견은 미국 주식 수익률의 역사적 변동성 중 58%가 어떠한 금융 요인으로도 설명할 수 없는 1비트 렙토-분산이라는 점이다. 본 논문에서 다루는 핵심 질문은, 정규분포 N(0, 1)에서 추출한 작은 표본을 이용하여 1비트 표본 렙토-분산과 렙토 비율(lepto-ratio)이 표본 분산, 왜도(skewness), 초과 첨도(excess kurtosis)와 어떤 관계를 갖는지 탐구하는 것이다. 대규모 표본 시뮬레이션을 통해, 정규분포의 렙토 비율은 36.3%로 수렴하는 것으로 나타났다. 정규분포 N(0, 1)에서 생성한 더 작은 시뮬레이션 표본의 경우, 렙토-분산 자체는 표본 분산과 높은 상관관계를 보이는 반면, 전체 분산에서 렙토-분산이 차지하는 비율은 초과 첨도와 높은 상관관계를 보인다. 렙토-분산과 렙토 비율은 모두 표본 왜도와 직교한다. 또 다른 발견은, 렙토 비율이 렙토-분산과 강한 상관관계를 가지면서도 표본 분산과는 직교한다는 점이다.
tabular foundation model과 gradient-boosted ensemble 같은 현대 AI 모델은 고전적 방법보다 예측력이 뛰어나지만, 그 예측을 추론할 근거는 거의 제공하지 않는다. 고위험 의사결정에는 정확하면서 설계 단계부터 해석 가능한 모델이 필요하다. 국소 선형 모델링은 한 가지 해법을 제시한다. 매끄러운 회귀 함수는 국소적으로 선형 함수로 잘 근사되므로, 각 쿼리 지점 근처에서 선형 적합을 수행하면 투명성을 희생하지 않고도 높은 정확도를 달성할 수 있다. 과제는 무엇이 "국소적인지"를 학습하고 해석을 위한 통계적 도구를 개발하는 데 있다. 본 연구에서는 국소 증류(local distillation)를 제안한다. 블랙박스 "교사(teacher)"가 각 쿼리 지점에서 정규화된 선형 "학생(student)" 모델을 유도하는 방식이다. 교사는 (1) 예측 결과가 유사한 학습 관측치에 더 높은 가중치를 부여하여 국소성을 정의하고, (2) 쿼리 지점에서의 예측을 데이터로부터 가중치가 추정되는 의사 관측치(pseudo-observation)로 포함하여 적합을 고정한다. 해석을 위해 국소 목적 함수에 소량의 가우시안 무작위화를 추가하고 재적합(refit)으로 안정성을 평가한다. 선택 빈도는 쿼리 지점에서 신뢰할 수 있는 특징을 식별하고, 무작위화된 적합들을 클러스터링하면 데이터 전반에서 안정적인 하위군을 식별할 수 있다. lasso 페널티 하에서, 이러한 무작위화가 학습 반응(response)의 작은 섭동에도 안정적인 특징 선택 확률을 산출함을 증명한다. 17개 벤치마크 데이터셋 전반에서 국소 증류는 각 테스트 지점마다 희소 선형 모델을 생성하면서도 AI 교사 모델의 정확도에 거의 필적했다. 고차원 암 유전자 발현 사례에서 이 프레임워크는 국소 모델이 서로 다른 유전자를 사용하는 환자 하위군을 식별한다. 이러한 이질성은 전역 선형 모델에서는 포착할 수 없으며, 블랙박스 모델에서는 드러내기 어렵다.
도메인 일반화(Domain Generalization, DG)는 여러 소스 도메인으로부터 학습하여 보지 못한 타깃 도메인에 일반화하는 것을 목표로 한다. 대부분의 DG 방법은 불변성(invariance)을 추구한다. 즉, 예측 규칙이 도메인 전반에서 불변인 인과적 표현을 찾으려 한다. 이 원리는 인과 메커니즘이 안정적일 때는 효과적이지만, 도메인 자체가 인과적 내용이 응답으로 매핑되는 방식을 조절할 때는 제약이 된다. 이 경우 도메인 스타일을 예측기에 직접 입력하면, 스타일 자체가 응답의 원인이 아니기 때문에 오도하는 지름길(shortcut)이 만들어질 수 있다. 그럼에도 여러 스타일의 겉보기 혼돈은 사다리가 될 수 있다. 스타일은 소스 도메인들 사이에서 보지 못한 타깃 도메인의 위치를 파악하고, 어떤 도메인 의존적 예측 규칙을 신뢰해야 하는지 안내할 수 있다. 우리는 고정 모델 DG 파이프라인인 LADDER(Latent Adaptive Domain Disentanglement and Environment Reweighting)를 제안한다. LADDER는 인과/스타일 표현을 학습하고, 인코더를 동결(freeze)하며, 소스별 분류기를 학습시킨 후, 추론(inference) 시에만 레이블이 없는 타깃 도메인 공변량 집합을 사용하여 이러한 고정된 분류기들에 대한 가중치를 계산하며 타깃 레이블이나 모델(model) 상태 업데이트는 필요하지 않다. 우리는 소스 재가중에 대한 이론적 보장을 확립하고 시뮬레이션, FMoW, 그리고 위치별로 그룹화된 iWildCam 프로토콜에서 LADDER를 검증하여 전반적 정확도와 그룹 평균 정확도 향상을 입증한다.
조건부 평균 처치 효과(conditional average treatment effect)를 넘어, 처치는 공변량에 따라 달라지는 방식으로 결과 분포 전체에 영향을 미칠 수 있으며, 예를 들어 특정 하위 집단의 분산이나 꼬리 위험(tail risk)을 변화시킬 수 있습니다. 본 논문은 이러한 조건부 분포적 처치 효과를 포착하는 새로운 추정 대상(estimand)을 제안하고, 국소 점근(local asymptotic) 의미에서 미니맥스 최적(minimax optimal)인 이중 강건(doubly robust) 추정량을 개발합니다. 이를 바탕으로 조건부 잠재 결과 분포의 전역적 동질성에 대한 검정을 개발하며, 이 검정은 최대 평균 불일치(maximum mean discrepancy, MMD)를 넘어서는 불일치 척도(discrepancy)를 수용하고, 증명 가능하게 유효한 제1종 오류를 가지며, 고정된 대립가설에 대해 일치성(consistency)을 갖습니다. 저자들이 아는 한, 이러한 설정에서 이와 같은 보장을 갖춘 최초의 검정입니다. 이어서 여러 커널 대역폭(kernel bandwidth) 선택지의 격자에 걸쳐 증거를 종합하는 검정을 제시합니다. 나아가 (MMD를 포함한) 두 가지 자연스러운 불일치 척도에 대해 정확한 닫힌 형태(closed-form) 표현을 유도하고, 본 검정을 위한 계산 효율적이며 순열이 필요 없는(permutation-free) 알고리즘을 제공합니다.