PyTorchKR Papers

최신 논문

총 824편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2609.09257v1cs.LG

분포 변화 하에서 센서 기반 AI의 책임 있는·불확실성 인지 평가: 기기, 피험자, 그리고 지하에서 거의 3년

Accountable and uncertainty-aware evaluation of sensor-based AI under distribution shift: devices, subjects, and nearly three years underground

센서 기based AI 시스템은 학습 당시와 동일한 조건에서 운용되는 경우가 드물다. 기기, 인력, 기록 시대(epoch)가 바뀔 때마다 성능이 저하되며, 무작위 train-test 분할만으로는 이러한 저하를 드러내기 어렵다. 우리는 배포된 모델의 평가를 선언된 기준(reference) 수준과 정량화된 불확실성을 갖춘 측정으로 다루는 단계적·책임 있는 평가 프로토콜을 제안한다. 네 가지 누적 일반화(generalisation) 단계는 기기, 피험자, 시간을 각각 홀드아웃한다. 각 단계는 올바른 클래스 수를 갖춘 우연(chance) 기준에 대해 반복 학습의 분위수(quantile)로 판정하며, out-of-present-scope rate는 배포 시 학습 대비 더 이상 존재하지 않는 클래스로의 조용한 오인(misdirection)을 드러낸다. 명시적 의사결정 규칙은 롤아웃(roll-out) 결정을 평균이 아니라 5% 분위수에 연결한다. 우리는 스마트폰 기반 순환(recurrent) 분류기를 이용한 인프라 없는 지자기(geomagnetic) 위치 추정을 두 실제 지하 광산에서 이 프로토콜로 시연하며, 두 번째 현장에서 해당 방식의 학습 단계를 복제(replication)한다. 변경 없는 모델을 학습 캠페인 34개월 후, 학습 시점에 알려지지 않았던 기기 세대, 홀드아웃 측량자(surveyor)로 기록된 데이터에서 재평가한다. 해당 현장·조건에서의 present-conditioned 정밀도의 5% 분위수는 299회 반복 학습에 걸쳐 0.39이며, 이는 우연 수준의 16.5배이다. 도달 가능한 42개 위치 클래스 구성 전반에 걸쳐 이 값은 ±0.08만큼 변하며, 이는 반복 실행 간 분산보다 수 배 크다. 단일 구성에 대한 반복 학습은 평균이 왜 오해를 부르는지 보여 준다. 이봉(bimodal) 구성은 평균 기반 검定을 확실히 통과하는 반면, 5% 분위수는 우연 수준보다 한 자릿수 이상 낮다.

arXiv:2405.09989v3stat.AP

화학정보학을 위한 가우시안 과정 모델과 유기 용매 위험 분류에의 적용

A Gaussian process model for chemoinformatics with application to the hazard classification of organic solvents

화학 시험용 스크리닝 도구가 확산되면서 화학물질의 방대한 데이터베이스를 쉽게 구축할 수 있게 되었다. 그러나 이러한 데이터베이스를 분석하는 데 쓰이는 엄밀한 통계적 방법론은 아직 초기 단계에 있으며, 화학적 발견을 촉진하기 위한 추가 개발이 필수적이다. 본 논문에서는 화학 구조에 기반하여 유기 용매의 수질 오염 등급을 예측하는 문제를 다룬다. 화학 구조가 유사한 용매는 동일한 위험 등급에 속할 가능성이 더 높다고 가설을 세운다. 이 화학적 유사도는 화학 공간 상의 비유클리드 거리(metric)인 Tanimoto 거리로 측정된다. 화학 구조 간 유사성을 모델에 반영하기 위해, 화학 공간 위의 가우시안 과정 모델을 제안하며, 커널은 Tanimoto 거리의 함수이다. 제안 모델의 새로운 특징은 커널에 스케일링 매개변수를 포함한다는 점으로, 화합물 간 상관의 강도를 제어하고 추가적인 유연성을 제공한다. 화학 화합물 간 상관을 고려하면 화합물 유사성을 반영하지 않는 비상관 모델에 비해 예측 성능이 실질적으로 향상됨을 확인한다. 우리 모델은 문헌의 다른 기존 모델들과 비교하여도 우수한 결과를 보인다. 또한 화학적 발견을 촉진하기 위해 화합물 효능에 중요한 특징을 식별하도록 설계된 유전 알고리즘을 제시한다. 이 알고리즘은 제안 모델에서 도출된 두 가지 기준에 따라 동작한다. 시뮬레이션 연구를 수행하여 제안 방법의 적합성을 보인다.

arXiv:2609.04018v2cs.LG

중무꼬 분포를 위한 극단 분위 처치 효과의 위치 불변 추정량

A Location-Invariant Estimator of Extremal Quantile Treatment Effects for Heavy-Tailed Distributions

분위 처치 효과(QTE)는 처치가 결과 변수의 분포에 미치는 영향을 측정하며, 목표 분위수가 데이터 범위를 훨씬 벗어나는 응용에서는 극단 분위 수준에서의 추정이 핵심 관심사이다. 중무꼬 잠재 결과에 대해, 기존 극단 QTE 추정량은 외삽(extrapolation)과 인과적 극값 지수(EVI) 추정량을 결합하지만, 모집단 QTE는 위치 이동에 불변함에도 불구하고 잠재 결과 분포의 공통 위치 이동(location shift)에 대해 결과 추정량은 불변하지 않다. 우리는 이 문제를 두 단계로 해결한다. 먼저, 역성향 점수 가중(inverse propensity score weighting)을 사용하여 EVI에 대한 위치 불변 Fraga 추정량을 인과 설정에 맞게 수정한다. 둘째, 원래 외삽 공식을 차분 기반 방식으로 대체하여, 분위 차분을 취할 때 위치 매개변수가 상쇄되도록 한다. 따라서 제안 QTE 추정량은 위치 불변이다. 제안 극단 QTE 추정량의 일치성(consistency)과 �渐近 정규성(asymptotic normality)을 증명하고, 일치 분산 추정량을 제공하여 �渐近적으로 타당한 추론을 가능하게 한다. 시뮬레이션 연구는 제안 방법의 위치 불변성, 임계값(threshold)에 대한 안정성, 그리고 coverage를 확인한다.

arXiv:2605.29395v2stat.ME

순위를 위한 저랭크: 희소한 쌍대 비교 하에서 불확실성을 고려한 태스크별 LLM 순위 산정

Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons

Chatbot Arena와 같은 쌍대 인간 선호도 플랫폼은 대규모 언어 모델(LLM) 평가의 핵심이 되었지만, 신뢰할 수 있는 태스크별 순위 산정은 여전히 어려운 과제입니다. 전역 리더보드는 태스크 간 이질성을 가리는 반면, 세분화된 각 태스크를 독립적으로 순위 매기는 방식은 희소하고 불균형한 비교 하에서 불안정합니다. 본 논문은 희소한 쌍대 비교로부터 태스크별 LLM 순위를 산정하기 위한 저랭크(low-rank) 프레임워크를 제안합니다. 이 프레임워크는 태스크-모델 능력 행렬 $Θ^\star \in \mathbb{R}^{d_t \times d_m}$을 저랭크로 모델링하여, 관련된 태스크 간에 정보를 공유하면서도 태스크별 차이는 보존합니다. 먼저 볼록(convex) 초기화기와 교대 최소화(alternating-minimization) 정제를 결합하여 잠재 점수에 대한 최대 노름($\ell_\infty$) 기준의 정확한 추정량을 개발하고, 희소 샘플링 하에서 태스크별 상위 $K$개 복원 보장을 증명합니다. 본 논문의 핵심 기여는 태스크별 순위 산정을 위한 불확실성 정량화 프레임워크입니다. 두 모델 간의 태스크별 능력 격차와 같이 고정된 점수 대비(contrast)에 대해 교차 적합(cross-fitted) 1단계 편향 제거(one-step debiased) 추정량을 구성하며, 이는 준모수적 효율성 하한(semiparametric efficiency bound)을 달성하는 점근적으로 유효한 신뢰구간을 제공합니다. 이어서 추론을 고차원 순위 영역으로 확장합니다. 이 영역에서는 태스크별 순위와 상위 $K$ 포함 여부가 서로 종속적인 다수의 점수 격차 가설에 의해 결정됩니다. 가우시안 및 승수 부트스트랩(multiplier-bootstrap) 보정을 사용하여, 여러 태스크와 모델에 걸쳐 태스크별 순위에 대한 동시 신뢰 집합과 유효한 상위 $K$ 포함 검정을 얻습니다. 합성 데이터와 Chatbot Arena에서의 실험 결과, 저랭크 공유는 독립적인 태스크별 Bradley-Terry 추정 대비 샘플 효율성을 향상시키며 더 조밀하고 보정이 더 잘 된 순위 인증서(ranking certificate)를 생성하는 것으로 나타났습니다. 특히 실제 LLM 벤치마크에서 전형적인 희소 영역에서 가장 큰 향상이 관찰되었습니다.

arXiv:2511.09759v2stat.ME

이질적 사이트 간 분포적 처치 효과의 이식 가능성

Distributional Treatment Effect Transportability across Heterogeneous Sites

우리는 원(source) 사이트에서는 처치군과 대조군 단위가 모두 관측되지만 목표(target) 사이트에서는 대조군 단위만 관측되는 ``교차 사이트, 단일 팔(one-armed) 목표'' 설계에서 처치 효과의 분포적 이식 가능성(transportability)을 연구한다. 관심 대상은 평균 처치 효과를 추정하는 것이 아니라, 원 사이트로부터의 전이 지식을 사용해 목표 사이트에서의 전체 처치 분포를 복원하는 것이며, 측정 체계, 관측 특징, 결과 보고, 모집단 구성, 잠재적 맥락 요인에서의 교차 사이트 이질성을 허용한다. 사이트 간 이질성은 공동 특징–결과 분포를 운반하는 사이트 간 변환을 통해 모델링한다. 이 변환은 최적 수송(optimal transport) 기준을 사용해 원 사이트와 목표 사이트에서 관측된 대조군 표본을 비교함으로써 학습된다. 학습된 변환은 원 사이트의 처치 표본에 적용되어 목표 처치 분포에 해당하는 합성 표본을 구성한다. 우리는 이렇게 얻은 합성 경험적 분포가 목표 처치 분포로 수렴함을 증명한다. 여러 데이터 생성 시나리오에 걸친 시뮬레이션과 환자 유래 이종이식(patient-derived xenograft, PDX) 데이터에 대한 실제 적용을 통해, 제안 프레임워크가 목표 처치 모집단의 전체 분포적 성질을 복원함을 보인다.

arXiv:2505.02131v2stat.ME

다차원 함수형 데이터를 위한 함수형 주성분 분석의 온라인 학습

Online Learning of Functional Principal Component Analysis for Multidimensional Functional Data

다차원 함수형 데이터 스트림은 다양한 과학 분야에서 발생하지만, 이를 분석하는 것은 상당한 어려움을 수반합니다. 본 논문에서는 이러한 데이터의 효율적이고 확장 가능한 모델링을 가능하게 하는 함수형 주성분 분석(functional principal component analysis)을 위한 새로운 온라인 프레임워크를 제안합니다. 제안하는 방법은 텐서곱 스플라인(tensor product splines)을 사용하여 함수형 주성분을 표현하며, 슈티펠 다양체(Stiefel manifold) 상의 페널티 프레임워크를 통해 매끄러움(smoothness)과 정규직교성(orthonormality)을 부여합니다. 또한 효율적인 리만 확률적 경사하강법(Riemannian stochastic gradient descent) 알고리즘과 리만 적응형 그래디언트(AdaGrad) 변형을 개발하였으며, 두 방식 모두 추정치를 안정화하고 수렴을 가속화하기 위해 반복 평균화(iterative averaging) 기법을 활용합니다. 아울러 데이터의 스트리밍 특성에 적응하는 롤링 평균 블록 검증(rolling averaged block validation) 점수를 기반으로 평활화 매개변수 선택을 위한 동적 튜닝 전략을 개발합니다. 나아가 추정량의 점근적 정규성(asymptotic normality)을 유도하고, 추정된 함수형 주성분의 불확실성을 정량화하기 위해 점별 신뢰구간(pointwise confidence intervals)을 구축합니다. 광범위한 시뮬레이션과 실제 응용 연구를 통해 다차원 함수형 데이터를 분석하는 데 있어 본 프레임워크의 유연성과 효과성을 입증합니다.

arXiv:2504.02694v3stat.ME공식 코드 · Papers with Code

개입 주도 변화 하에서 반사실 회귀를 위한 반모수 추론

Semiparametric Inference for Counterfactual Regression under Intervention-Driven Shift

본 연구는 데이터에서 관측된 시나리오와 다른 가설적 시나리오 하에서 특징을 결과에 대응시키는 반사실 회귀(counterfactual regression)를 다룬다. 이 문제는 분포 이동(distribution shift) 하에서의 의사결정에 핵심이며, 배포 시 처치(treatment) 패턴이 달라질 수 있다. 우리는 사전에 지정된 점증적 개입(incremental-intervention) 경로를 따르는 반사실 회귀를 위한 반모수(semiparametric) 프레임워크를 개발한다. 목표는 반사실 위험(counterfactual risk)의 유한차원 제약 투영(constrained projection)이며, 프로그램 구성요소의 cross-fitted 영향함수(influence-function) 표현을 사용해 추정한다. 고정 제약을 갖는 매끄러운(smooth) 프로그램과 추정된 선형 제약을 갖는 유한차원 프로그램에 대해, 클래스별 조건 하에서 옵티마이저의 일치성(consistency)과 국소 안정성(local stability)을 확립하고, 점별(pointwise) 및 균일(uniform) 1차 전개(first-order expansions)를 도출한다. 이 결과는 반사실 회귀 경로에 대한 동시 신뢰구간(simultaneous confidence bands)을 포함하여 점근적으로 유효한 추론을 제공한다. 시뮬레이션과 SMS 알림(SMS reminders) 적용이 제안 방법의 유한 표본(finite-sample) 성능과 실용적 적용 가능성을 보여준다.

arXiv:2609.02899v1cs.CL

오염은 점수를 부풀리지만 대규모 언어 모델 리더보드 순위를 거의 바꾸지 않는다

Contamination Inflates Scores but Rarely Reorders Large Language Model Leaderboards

벤치마크 오염, 즉 테스트 항목이 학습 데이터로 유출되는 현상은 대규모 언어 모델(LLM) 리더보드의 신뢰성에 대한 위협으로 널리 거론된다. 우리는 이 우려가 서로 다른 두 질문을 혼동한다고 주장한다. 오염이 절대 점수를 부풀리는지, 그리고 모델의 순위를 재정렬하는지 여부이다. 우리는 오염을 앵커 항목 불변성(anchor-item invariance) 위반으로 재정의하고, 원본 항목과 의미적으로 동등한 패러프레이즈 항목 간의 차등적 기능(differential functioning)을 통해 이를 측정한다. 이는 항목 내 대조(within-item contrast)로, 측정된 능력은 고정한 채 암기와 역량을 분리한다. 공개된 47개 모델과 알려진 오염량으로 파인튜닝된 74개 모델의 인스턴스별 응답을 네 벤치마크(ARC, GSM8K, HellaSwag, MMLU)에서 사용하여, 먼저 이 측정치를 정답(ground truth)에 대해 보정한다. 주입된 오염량에 반응적으로 복원하며(테스트 세트 유출에 대한 보정 효과 +0.187 정확도 포인트), 합법적인 학습 분할만으로 학습된 음성 대조 모델은 절대 플래그하지 않는다(-0.012). 이어 리더보드 영향을 정량화한다. 표준 리더보드와 패러프레이즈 통제 리더보드 간 순위 상관은 0.997이며, 민감도 분석은 관측된 차등적 오염이 순위를 바꾸는 데 필요한 수준보다 훨씬 낮음을 보여준다. 188개의 모델×벤치마크 사례 중 두 기준(reference)에서 뒷받침되는 차등적 오염은 3건뿐이다. 따라서 이 공개 모델들에서의 오염은 대체로 균일하다. 절대 점수는 부풀리지만 리더보드를 재정렬하지 않으며, 순위 왜곡에는 드문 경우인 차등적 오염이 필요하다. 우리는 보정된 불변성 감사(audit)를 참조 구현으로 공개하고, 리더보드가 패러프레이즈 통제 순위와 신뢰 구간을 함께 보고할 것을 권고한다.

arXiv:2609.01783v1stat.ME

혼합 영역 데이터를 갖는 비정규화 모델에 대한 강건한 베이지안 추론

Robust Bayesian Inference for Unnormalized Models with Mixed-Domain Data

많은 통계 모델은 계산상 다루기 어려운, 매개변수에 의존하는 정규화 상수를 포함하여 표준 베이지안 추론에 상당한 장애가 된다. 기존 가능도 기반 알고리즘은 이러한 상수를 종종 우회할 수 있지만, 모델 오지정(model misspecification) 하에서는 불확실성 정량화가 잘못 보정될 수 있다. 이를 해결하기 위해 우리는 score matching 추정 방정식과 베이지안 지수 기울임 경험적 가능도(Bayesian exponentially tilted empirical likelihood)를 결합한 반모수 베이지안 프레임워크인 SME-BETEL을 제안한다. 이로 얻어진 사후분포는 정규화 상수를 계산하지 않으며 학습률(learning rate) 보정이 필요하지 않다. 우리는 score matching 추정량의 일치성(consistency)과 점근 정규성(asymptotic normality)을 확립하고, SME-BETEL 사후분포에 대한 Bernstein-von Mises 정리를 증명한다. 이 결과는 SME-BETEL 신뢰 집합(credible set)이 score matching 추정량의 표본 변동성에 점근적으로 보정(calibrated)됨을 보여 주며, 모델 오지정 하에서도 유효한 빈도주의적 포함률(frequentist coverage)을 제공한다. 또한 혼합 영역(mixed-domain) 데이터를 위한 새로운 score matching 기준을 개발하여, 관측치가 서로 다른 표본 공간(sample space)의 성분을 결합하는 모델로 SME-BETEL을 확장한다. 이 구성은 다루기 어려운 공간 정규화 적분을 갖는 preferential sampling 모델을 포함해, 혼합 영역 이중 난해(doubly-intractable) 모델에 대한 강건한 베이지안 추론을 가능하게 한다. 시뮬레이션 연구는 SME-BETEL이 올바른 모델 지정 하에서는 경쟁력을 유지하고, 오지정 하에서는 불확실성 정량화를 크게 개선함을 보여 준다. 오존 모니터링 응용은 공간 preferential modeling에 혼합 영역 구성이 유용함을 추가로 보여 준다.

arXiv:2511.15813v2stat.ME

이분 모드 3원 비대칭 불유사성의 다차원 척도법: 전형적 프로파일 탐색과 클러스터링

Multidimensional scaling of two-mode three-way asymmetric dissimilarities: finding archetypal profiles and clustering

다차원 척도법은 객체 간 불유사성을 시각화하고 데이터 차원을 축소한다. 많은 방법이 대칭적 근접성(proximity) 데이터를 다루지만, 비대칭 및 특히 여러 시점에 걸친 관계를 포착하는 3원 근접성 데이터는 여전히 충분히 연구되지 않았다. h-plot은 불유사성을 유클리드 공간에 임베딩함으로써 비대칭 및 비반사적 관계의 분석을 가능하게 하며, archetypoid 분석과 같은 추가 기법을 통해 대표적인 극단 프로파일을 식별할 수 있게 한다. 그러나 기존 방법 중 3원 비대칭 근접성 데이터에서 전형적(archetypal) 프로파일을 추출하는 방법은 없다. 본 연구는 대칭·비대칭, 조건부·비조건부 틀 모두에서 h-plot 방법론을 3원 근접성 데이터로 확장한다. 제안 접근법은 여러 장점을 제공한다: 통합된 유클리드 표현을 통한 직관적 해석 가능성; 국소 최솟값(local minima)이 없는 명시적 고유벡터 기반 해석적 해법; 선형 변환 하에서의 척도 불변성; 대규모 행렬에 대한 계산 효율성; 그리고 간단한 적합도(goodness-of-fit) 평가. 더 나아가 3원 비대칭 근접성에 대한 전형적 프로파일과 클러스터링 구조의 식별을 가능하게 한다. 그 성능은 다차원 척도법 및 클러스터링을 위한 기존 모델과 비교되며, 금융 응용을 통해 설명된다. 재현성을 위해 모든 데이터와 코드가 제공된다.

arXiv:2510.10268v3stat.ML

업스트림 데이터 없는 신경 변분 컷 사후분포

Neural Variational Cut Posteriors without Upstream Data

많은 응용 분야에서 피드백 없이 이전(업스트림) 분석에서 샘플 형태로 제공되는 매개변수 불확실성을 후속(다운스트림) 분석으로 전파해야 합니다. 이 문제는 피드백 절단(cutting feedback) 또는 컷-베이즈(cut-Bayes)로 불리며, 정보 흐름 제약을 보존하는 최적의 사후분포인 컷 사후분포(cut-posterior)는 잘 규명되어 있습니다. 그러나 (예컨대 중첩 MCMC 등을 통해) 이로부터 샘플링하는 것은 계산 비용이 많이 들고, 컷-베이즈를 위한 기존 변분 추론(variational inference) 기법들은 흔히 접근할 수 없는 업스트림 데이터 및 모델에 대한 접근을 필요로 합니다. 본 논문에서는 업스트림 데이터나 모델에 대한 접근을 전혀 필요로 하지 않으면서 모듈화되고 이론적으로 정확성이 입증된 컷-베이즈 접근법을 제안합니다. 업스트림 사후분포에 대한 다운스트림 조건부 쿨백-라이블러 발산(Kullback-Leibler divergence) 기댓값의 최소화 함수로서 컷 사후분포가 갖는 특성을 활용하여, 해당 기댓값을 업스트림 표본에 대한 표본 평균으로 대체합니다. 제안 기법인 NeVI-Cut(neural variational inference for cut-Bayes)은 다운스트림 매개변수를 위한 변분 족(variational family)으로 조건부 정규화 흐름(conditional normalizing flows)을 채택합니다. 또한 신경망 구조의 표현력(richness)과 컷 사후분포의 복잡도 관점에서 NeVI-Cut의 고정 데이터 수렴 속도(convergence rate)를 제시합니다. 저자들이 아는 한, 일반적인 흐름(flow) 클래스에 의한 조건부 분포의 균등 쿨백-라이블러 근사 속도에 대한 최초의 결과를 확립함으로써, 변분 흐름에 널리 적용 가능한 고정 데이터 오차율을 도출합니다. 확률적 알고리즘을 통해 NeVI-Cut을 효율적으로 구현하며, 다양한 응용 분야에서 그 속도와 정확도를 입증합니다.

arXiv:2310.05288v4stat.ML

이상치가 포함된 3원 데이터 군집화

Clustering Three-Way Data with Outliers

행렬변량 분포(Matrix-variate distributions)는 모델 기반 군집화(model-based clustering) 문헌에 비교적 최근 도입되어 이미지 및 시계열과 같이 복잡한 구조를 가진 행렬 형태의 데이터를 분석할 수 있게 되었습니다. 최근에 등장한 만큼 행렬변량 데이터에 관한 문헌은 제한적이며, 이러한 모델에서 이상치(outlier)를 다루는 연구는 더욱 부족합니다. 본 논문에서는 이상치가 포함된 행렬변량 정규 데이터를 군집화하기 위한 접근법을 다룹니다. 부분집합 로그 우도(subset log-likelihood) 분포를 활용하는 이 접근법은 OCLUST 알고리즘을 행렬변량 정규 데이터로 확장하며, 반복적인(iterative) 방식을 사용하여 이상치를 탐지하고 제거(trim)합니다.

arXiv:2609.00946v1stat.ML

대규모 언어 모델 생성 텍스트를 위한 임베딩 조건부 독립성 검정과 독일 연방의회 연설에의 적용

Embedded Conditional Independence Tests for Large Language Model Generated Text with an Application to German Parliament Speeches

조건부 독립성 검정(conditional independence tests, CITs)은 제3의 임의 객체 $Z$가 주어졌을 때 두 임의 객체 $X$와 $Y$ 사이의 조건부 종속성을 검정한다. 기존 CIT은 고차원 데이터, 특히 텍스트와 같은 다중모달(multimodal) 데이터에 적용하기 어렵다. 그러나 본 논문은 소스 텍스트 $Z$로부터 생성된 출력 $X$가 속성 $Y$에 대해 $Z$ 자체를 넘어 정보를 담고 있는지 검정하는 대규모 언어 모델(LLM) 출력에서 이러한 검정이 의미가 있음을 보인다. 이를 위해 $X$와 $Z$를 임베딩하고 기존 CIT을 결과 표현 및 $Y$에 적용하는 임베딩 CIT(embedded CIT, eCIT)을 제안한다. $Z$의 임베딩이 충분(sufficient)할 때, 즉 $Y$ 또는 $X$의 표현에 대해 $Z$가 담고 있는 정보를 보존할 때, 귀무가설이 $X$와 $Z$에서 그들의 표현으로 이전(transfer)되므로, 임베딩된 가설에 대해 유효한 CIT은 원래 가설에 대해서도 유효하다는 것을 보인다. 또한 두 가설의 동등성 조건을 제시하고, 임베딩된 검정이 조건부 평균 독립성(conditional mean independence)을 목표로 할 때 충분성이 평균 충분성(mean sufficiency)으로 약화됨을 보인다. 특정 데이터셋 및 과업에 대한 주어진 임베딩 맵에서 eCIT의 I형 오류(type I error, T1E) 통제와 검정력(power)을 평가하기 위한 반합성(semi-synthetic) 시뮬레이션 설계를 제안하고, 이를 응용 사례에서 평가한다. 독일 연방의회 연설에 eCIT을 적용한 결과, 고려한 모든 임베딩 맵 조합에 대해 두 LLM의 요약이 생성 원문 연설을 넘어 발화자의 당파(faction)와 성별에 대한 정보를 포함함을 발견했다.

arXiv:2609.00773v1stat.ME

심층 비대칭-t 혼합 모델

Deep Skew-t Mixture Models

고차원 군집화는 구성요소(component) 분포가 두터운 꼬리(heavy-tailed)를 가지면서 방향성 비대칭(directional asymmetry)을 띨 때 까다로운 과제입니다. 본 논문에서는 일반화 쌍곡 비대칭-$t$(GHST) 정규 평균-분산 표현을 기반으로 하는 계층적 인자 분석 혼합 모델인 심층 비대칭-$t$ 혼합 모델(deep skew-$t$ mixture model, DStMM)을 제안합니다. 공유된 역감마 혼합 변수가 각각의 완전한 잠재 경로를 따라 전파되어 조건부 가우스성을 보존하면서 두터운 꼬리와 방향성 비대칭을 결합 모델링할 수 있도록 합니다. 따라서 각 완전한 경로는 정확한 GHST 주변 표현을 가집니다. 본 연구는 대칭 심층 $t$, 가우스 심층 혼합 및 단일 층 GHST 인자 분석 모델로의 축소를 정형화하고, 국소 비식별성(local non-identifiability)과 구현 수준의 매개변수 계산 관례를 논의하며, 추정에 사용되는 조건부 일반화 역가우스 법칙을 도출합니다. 추정은 확률적/몬테카를로 EM 알고리즘으로 수행되며, BIC 구조 비교를 위한 명시적 구현 기반 매개변수 수를 사용합니다. 시뮬레이션 연구에 따르면 DStMM은 왜도(skewness)가 없을 때 대칭 로버스트 모델과 유사하게 동작하지만 방향성 비대칭이 강해질수록, 특히 꼬리가 더 두터울 때 점점 더 큰 이득을 제공하며, 이러한 정성적 동작은 표본 수가 더 적거나 혼합 비율이 불균등할 때도 유지됩니다. 두 가지 실제 데이터 적용 사례는 이를 보완하는 증거를 제공합니다. UCI 필기 숫자 벤치마크에서 DStMM은 공통 심층 구조 하에서 가장 우수한 군집화 성능을 보였으며, Gas Sensor Array Drift 데이터에서는 심층 가우스 및 심층 $t$ 대안 모두보다 향상된 성능을 보였고 구현된 BIC 기준에 따라 유의미한 두 번째 혼합 층을 선택했습니다. 종합적으로 이러한 결과는 경로 수준의 정확한 가능도를 유지하면서 심층 잠재 혼합을 통해 왜도와 두터운 꼬리 변동성을 전파하는 방식의 유용성을 입증합니다.

arXiv:2609.00616v1stat.ME

행렬-변량 정규 혼합 모델에서 요소별 및 구조적 결측을 모두 다루는 효율적인 EM 알고리즘

An efficient EM algorithm for both element-wise and structural missingness in matrix-variate normal mixture models

결측 항목을 포함한 행렬-변량 데이터는 관측값이 자연스럽게 2차원 배열로 구성되는 응용에서 흔히 등장한다. 행렬 정규 분포는 Kronecker 공분산 구조를 통해 간결한 모델을 제공하지만, 임의의 결측 패턴은 E-step에서 이 분리 가능성(separability)을 일반적으로 깨뜨리기 때문에 표준 EM 추정은 계산 비용이 클 수 있다. 본 논문에서는 결측 항목이 있는 행렬-변량 정규 데이터를 위한 효율적인 부분 EM 알고리즘을 제안한다. 제안 방법은 좌표별 근사를 통해 결측 성분의 조건부 평균과 공분산을 갱신하여, 패턴별 공분산 행렬의 반복적 역행렬 계산과 전체 벡터화 공분산 행렬의 구성을 피한다. 또한 부분 행렬 결측(submatrix missingness)에 대해 특화된 갱신을 개발하는데, 이때 결측 블록의 정밀도(precision)는 Kronecker 곱 구조를 유지하며 공분산 갱신은 행 방향과 열 방향에서 독립적으로 수행할 수 있다. 시뮬레이션 연구는 제안 방법이 정확한 EM 대비 계산 시간을 크게 줄이면서, 다양한 차원과 결측 비율에서 관측 데이터 가능도(observed-data likelihood)를 거의 동일하게 유지함을 보여준다. 초분광(hyperspectral) 영상 패치에 대한 실데이터 적용은 제안 대치(imputation) 전략이 행렬-변량 혼합 모델 내에 내장되어 동시에 대치와 클러스터링을 수행할 수 있음을 보여준다.

arXiv:2609.00402v1stat.ML

에너지 가격 시계열에서 이벤트 기반 동학을 탐지하기 위한 합성곱 프레임워크

A convolutional framework for detecting event-driven dynamics in energy price series

본 논문은 단변량 시계열 윈도우에서 이질적인 이벤트 기반 동학을 탐지하기 위한 일반적인 합성곱 신경망(CNN) 프레임워크를 개발한다. 우리는 이 프레임워크에서 유도되는 CNN 클래스가 범위(range), 최대 상승폭(maximum drawup), 최대 하락폭(maximum drawdown), 기울기 변화(slope change)에 기반한 분류기를 정확히 표현하며, 컴팩트 정의역에서 실현 변동성(realised volatility)과 자기회귀 폭발성(autoregressive explosiveness)을 균등하게 근사함을 보인다. 또한 대표적인 규칙들에 대한 유한 표본 오차 한계와, 이들 전반에 걸친 학습에 대한 오라클 부등식(oracle inequality)을 도출한다. 시뮬레이션 결과, 제안한 모델은 학습 표본이 증가함에 따라 개별 통계량에 기반한 분류기와 동등하거나 더 나은 성능을 보일 수 있다. 6개의 일별 에너지 가격 시계열에 대한 적용에서는 계층적 CNN이 이벤트 윈도우와 이벤트 유형을 구분한다. 2026년 2월 20일 이후 보류해 둔 관측치에 재학습 없이 적용했을 때, 학습된 모델은 2026년 이란 전쟁 발발 즈음 여러 원유 및 정제유 제품 시계열에서 주로 지정학적 동학을 식별하는 한편, 같은 시기에 나타난 날씨와 관련된 천연가스 급등은 구분해 낸다.

arXiv:2608.24964v2stat.ML

에너지 형태 완전 컨포멀 영역을 위한 공통 중심 기하학 및 보증된 방사형 재구성

Common-Center Geometry and Certified Radial Reconstruction for Energy-Form Full Conformal Regions

본 연구는 경험적 에너지 형태(energy-form) 쌍별 점수에 의해 생성되는 완전 컨포멀 예측(FullCP) 영역의 기하학을 다룬다. 후보 점수의 볼록성(convexity)만으로는 후보 인자에 대해 볼록한 손실들의 경험적 평균에 대해서조차 연결된 FullCP 영역을 보장하지 못한다. 에너지 형태 점수의 경우, 각 리브-원-아웃(leave-one-out) 학습(training) 비교는 정확히 쌍별 비유사도 하위레벨 조건으로 귀결된다. 대칭성, 상수 대각 성분, 대각 하한, 그리고 연관된 프레셰(Fréchet) 유형 목적 함수의 달성 조건 하에서 모든 비교 영역은 최솟값 지점(minimizer)을 공유하며, 이 영역들이 볼록하다면 모든 자명하지 않은 정확한 컨포멀 영역은 해당 지점을 중심으로 하는 별 모양(star-shaped)이 된다. 멱거리(power distance) $ρ_β(x,y)=\|x-y\|^β$에 대해 이 기하학적 특성은 $β\ge1$에서 성립하는 반면, 기존 에너지 점수는 $0<β<2$에 대해 엄격하게 적합(strictly proper)하다. $d=1,β=1$일 때, 모든 자명하지 않은 경험적-CRPS FullCP 영역은 공집합이 아닌 닫힌 구간이다($m=1$일 때는 $\mathbb R$일 수 있음). $1<β<2$ 및 $m\ge2$의 경우, 데이터로부터 확인할 수 있는 명시적인 도함수(derivative) 한계값은 방사형 출구 및 정확한 컨포멀 방사형 함수에 대한 립시츠(Lipschitz) 제어를 제공한다. 이는 방향성 근 탐색 및 고전적인 립시츠 확장과 결합되어, 폭이 최대 $δ+2\widetilde Lh_{\mathcal U}$인 보증된 방사형 내/외부 포락선과 동일 반직선 상의 하우스도르프(Hausdorff) 보증을 도출한다. 해석적인 2차원 예제는 별 모양이지만 비볼록(nonconvex)인 기하학적 형태를 보존하는 것이 왜 중요할 수 있는지를 보여준다. 단계별 2차원 실험 연구를 통해 일반 보증의 작지만 체계적인 조임과 빈번한 강건한 비볼록성 증거를 발견했으며, 감지된 정규화 방사형 이탈은 일반적으로 작았다. 본 방법은 고차원 스케일링(scaling)이나 런타임 개선보다는 저차원 다변량 출력을 대상으로 한다.

arXiv:2608.18294v2stat.ME

금표준 라벨 없이 AI 생성 데이터에 대한 디바이어스드 추론: 다중 불완전 측정을 통한 식별

Debiased Inference for AI-Generated Data without Gold-Standard Labels: Identification via Multiple Imperfect Measurements

점점 더 많은 학자들이 AI로 변수를 측정한 뒤 이를 후속 분석에 포함한다. AI로 측정한 변수는 종종 오차 없이 관측된 것처럼 분석되지만, 자동 측정의 예측 오차를 무시하면 AI 측정 정확도가 높더라도(예: 90% 이상) 후속 분석에서 상당한 바이어스와 유효하지 않은 신뢰구간이 발생한다. 설계 기반 지도 학습(design-based supervised learning)과 prediction-powered inference 같은 기존 해법은 오류가 있는 AI 기반 측정과 금표준 라벨을 결합하는데, 일부 응용 분야에서는 금표준 라벨을 얻기 비용이 크거나 어려울 수 있다. 본 논문에서는 다중 불완전 측정을 이용한 디바이어스드 추론(debiased inference with multiple imperfect measurements, DMM)을 제안한다. 이는 여러 오류가 있는 AI 측정을 결합해 금표준 라벨 없이 유효한 후속 추론을 가능하게 하는 프레임워크이다. CP 분해(CP decomposition)에 관한 확립된 결과를 바탕으로, DMM은 이러한 측정이 잠재적 참 라벨과 관측된 단위 수준 특성(예: 임베딩으로 표현된 텍스트 특성)에 대해 조건부로 독립이라고 가정한다. 이 프레임워크는 알려지지 않은 오분류율이 주석 방법(예: 대규모 언어 모델)과 주석 단위(예: 텍스트)마다 달라질 수 있음을 허용한다. 이 가정 하에서 반모수 추론 이론을 사용해 DMM 추정량이 일치(consistent)하고 점근적으로 정규(asymptotically normal)임을 증명하며, 사회과학에서 흔한 다양한 후속 통계 분석에 대해 유효한 추론을 가능하게 한다. 시뮬레이션 결과는 DMM이 유효한 추론을 제공하고, 정확하지만 불완전한 측정을 추가하면 효율성을 개선할 수 있음을 보여 준다. 대규모 언어 모델 주석의 일반적인 응용에 초점을 맞춰 조건부 독립 가정을 평가하는 진단 방법도 개발한다.

arXiv:2607.28844v2math.ST

나무가 아닌 숲 보기: BART의 가우시안 프로세스 극한

Seeing the Forest for the Trees: The Gaussian Process Limit of BART

베이지안 가법 회귀 트리(Bayesian Additive Regression Trees, BART)는 예측 및 인과 추론(causal inference) 문제 모두에서 최첨단 성능을 보여 왔다. 기존 이론 연구들은 표준 BART 모델의 사후분포 수축률(posterior contraction rate)을 규명하여 BART의 우수한 성능을 설명하려 했으나, 이 수축률은 공변량의 수에 크게 의존한다. 본 연구에서는 다른 접근법을 취하여, 트리의 수가 무한대로 증가할 때 BART가 보이는 거동을 연구한다. 우리는 이 영역에서 BART가 특정 커널(kernel)을 갖는 가우시안 프로세스(Gaussian process, GP)로 수렴함을 보인다. 이 커널과 그에 대응하는 재생 커널 힐베르트 공간(reproducing kernel Hilbert space, RKHS)은 추론(inference) 측면에서 유리한 성질을 가지며, 이는 BART의 뛰어난 성능을 설명하는 데 도움이 된다. 우리는 이 극한 GP에 대한 근사로서 랜덤 트리 특징(random tree features)을 도입하고, 이러한 랜덤 특징에 대한 릿지 회귀(ridge regression)에서 차원에 대해 로그 수준으로만 의존하는 미니맥스 최적(minimax-optimal) 학습률을 증명한다. BART의 경험적 성공에 대한 통찰을 제공하는 것에 더해, 랜덤 트리 특징은 기존의 MCMC 추정에 비해 계산상의 이점도 제공한다. 또한 이 랜덤 특징 근사를 통해 실무자는 선형 예측자(linear predictor)를 갖는 모든 모델에 BART를 손쉽게 통합할 수 있으며, 이로써 BART의 적용 범위와 유연성이 확장된다.

arXiv:2507.04553v2stat.ME

AL-SPCE - 확률적 다항식 카오스 전개와 능동 학습을 이용한 비결정론적 모델의 신뢰성 분석

AL-SPCE - Reliability analysis for nondeterministic models using stochastic polynomial chaos expansions and active learning

신뢰성 분석은 전통적으로 동일한 입력에 대해 동일한 출력을 내는 결정론적 시뮬레이터(deterministic simulator)에 의존한다. 그러나 현실의 많은 시스템은 확률적 거동을 보이며, 동일한 조건에서도 재현할 수 없는 결과를 만들어 낸다. 확률적 시뮬레이터(stochastic simulator)는 응답을 확률 변수로 표현함으로써 이러한 거동을 반영하며, 신뢰성 분석에서는 이 응답의 내재적 변동성을 고려해야 한다. 몬테카를로 시뮬레이션(Monte Carlo simulation)으로 이 문제를 다룰 수 있지만, 계산 비용이 감당하기 어려운 경우가 많다. 이에 따라 확률적 에뮬레이터(stochastic emulator)가 대리 모델(surrogate model)로 도입되었으며, 이는 더 적은 비용으로 확률적 시뮬레이터의 응답을 재현할 수 있다. 최근 연구들은 이들이 신뢰성 분석에 활용될 가능성을 보였으나, 정확한 추정을 위해서는 여전히 비교적 큰 학습 데이터셋이 필요할 수 있으며, 이는 비용이 큰 모델에서는 비현실적일 수 있다. 본 연구에서는 계산 비용을 더욱 줄이기 위한 능동 학습(active learning) 프레임워크를 제안한다. 확률적 다항식 카오스 전개(stochastic polynomial chaos expansions, SPCE)에 초점을 맞추어, 신뢰성 추정과 관련된 영역 중 에뮬레이터의 예측 불확실성이 높은 영역을 식별하는 학습 함수(learning function)를 도입한다. 또한 최대 가능도 추정량(maximum likelihood estimator)의 점근적 정규성을 활용하여 국소 예측 불확실성을 정량화한다. 그 결과로 얻어진 방법론인 능동 학습 확률적 다항식 카오스 전개(active learning stochastic polynomial chaos expansions, AL-SPCE)는 세 가지 유형의 문제에서 검증된다. 모든 경우에서 AL-SPCE는 기존의 대리 모델 기반 접근법 및 직접 몬테카를로 시뮬레이션과 비교하여 계산 효율을 크게 향상시키면서도 정확한 신뢰성 추정을 유지한다.