PyTorchKR Papers

최신 논문

총 824편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2610.08345v1stat.ML

희소 지지 벡터 머신을 위한 고차원 통계적 추론

High-Dimensional Statistical Inference for Sparse Support Vector Machines

복제 대칭(replica-symmetric) 고차원 특성화를 이용하여, 샘플 크기와 특징(feature) 수가 비례적으로 증가하는 상황에서 희소 지지 벡터 머신(SVM)에 대한 추론 프레임워크를 개발한다. 주된 어려움은 비평활(nonsmooth) 힌지 손실(hinge loss)로, 이는 평활한 분류 손실에 대해 개발된 편향 제거(debiasing) 논증을 직접 적용하는 것을 막는다. 우리는 $L_1$-페널티가 부과된 지지 벡터 머신(SVM)을 선형 프로그램으로 표현하고, 쌍대 변수(dual variable)를 통해 힌지 손실의 서브그래디언트(subgradient)를 식별함으로써 이 어려움을 극복한다. 이를 통해 비례적 점근(asymptotic) 체제 하에서 좌표들이 점근적으로 가우시안(Gaussian) 분포를 따르는, 계산적으로 접근 가능한 편향 제거 추정량(debiased estimator)을 얻는다. 그 결과로 얻어진 분포적 특성화는 개별 특징에 대한 신뢰구간과 가설검정을 제공하며, 거짓 발견율(false discovery rate)이 통제된 변수 선택을 가능하게 한다. 강한 상관관계를 갖는 설계를 포함한 다양한 공분산 구조 하에서 보정(calibration), 검정력(power), 변수 선택 성능을 광범위한 시뮬레이션을 통해 검토한다. 고차원 유방암 유전자 발현 데이터를 분석하여, 제안된 추론 방법이 원래의 희소 SVM에 의해 선택된 변수들 중에서 통계적으로 유의한 특징을 구별할 수 있음을 보인다.

arXiv:2610.08292v1stat.ME

두 퍼시스턴스 다이어그램(persistence diagram) 모집단은 어디에서 차이가 나는가? 고정 예산 하에서의 보정된 지역 추론

Where Do Two Populations of Persistence Diagrams Differ? Calibrated Local Inference at a Fixed Budget

퍼시스턴스 다이어그램(persistence diagram) 모집단에 대한 많은 이표본 검정(two-sample test)은 전역적 차이를 평가하지만, 그 차이에 기여하는 생성-소멸 평면(birth-death plane)의 영역을 식별하지는 않는다. 우리는 가용한 다이어그램의 수가 고정되어 있을 때 지역 평균 대비(local mean contrast)에 대한 동시 추론을 연구한다. 이는 여러 중심과 반경을 갖는 $\ell_\infty$ 근방(neighborhood) 내에서의 기대 가중 특징 질량의 차이이다. 우리는 가법적 랜드마크 응답(additive landmark response)을 이용해 이러한 대비를 추정한다. 가우시안 곱수 부트스트랩(Gaussian multiplier bootstrap)은 그룹 간 공분산이 서로 다른 경우를 허용하면서 동시 신뢰구간을 보정한다. 구간이 0을 배제하는 근방들은 패밀리-와이즈 오류(family-wise error)를 근사적으로 통제하는 지도를 형성하며, 표시를 위해 원래 구간들의 부분집합을 선택하더라도 이들의 결합 커버리지 보장(joint coverage guarantee)은 유지된다. 동시 커버리지 사건(simultaneous coverage event) 하에서, 보고된 모든 근방은 평균-측도 차이(mean-measure difference)의 지지집합(support)으로부터 해당 반경의 두 배 이내에 위치한다. 하나의 기하학적 결과는 변위된 특징이 0이 아닌 대비를 만들어내기 위한 충분한 반경 조건을 제시한다. 충분 검출 임계값들의 비교는 검정 대상 좌표의 수를 줄이는 것과 독립적인 파일럿(pilot)을 위해 관측치를 남겨두는 것 사이의 트레이드오프를 정량화한다. 클래스당 40개에서 120개의 다이어그램을 사용한 시뮬레이션에서, 밴드(band)는 엄격한 귀무가설(strict null)과 평균은 같지만 공분산이 다른 경우 모두에서 94%-98%의 동시 커버리지를 달성했다. 후자의 설정에서, 순열 최댓값(permutation maximum)과 Moon과 Lazar의 2단계 퍼시스턴스 이미지 검정(two-stage persistence-image test)의 풀링-t(pooled-t) 구현은 각각 최대 32%와 26%의 실행에서 기각되었다. 고정 예산 시뮬레이션에서, 랜드마크나 반경을 선택하기 위해 관측치의 3분의 1을 파일럿에 할당하는 방법은 단일 반경에서의 미리 지정된 격자보다 변화의 위치를 더 적게 포착했다. MUTAG 벤치마크에서, 국소화된 영역은 융합 고리 시스템(fused-ring system)의 고리에 집중되었으며, 이는 탐색적 해석(exploratory reading)이다.

arXiv:2610.08210v1stat.ML

항시 유효한(Anytime-valid) 시뮬레이션 기반 가설 검정

Anytime-valid simulation-based hypothesis testing

주어진 데이터 분포 $(X_t)_{t \in \mathbb{N}} \sim Q$가 i.i.d.일 때, 우리는 서로 다른 두 모델(model) 확률분포 $P_0$와 $P_1$에 대해 가설 검정 문제 $H_0: Q = P_0$ vs. $H_1: Q = P_1$을 다룬다. 해석적(analytic) 밀도 $p_0$와 $p_1$이 주어지는 표준적인 설정과 달리, 본 논문에서는 i.i.d. 시뮬레이션 $(Z^0_t)_{t \in \mathbb{N}} \sim P_0$ 및 $(Z^1_t)_{t \in \mathbb{N}} \sim P_1$에만 접근할 수 있는 밀도 미지(density-free) 설정을 고려한다. 이러한 시뮬레이션 기반 가설 검정 설정을 위해, 우리는 e-검정 마팅게일(e-test martingale)을 구성하며, 이를 통해 항시 유효한(anytime-valid) 1종 오류 보장, 근사적 성장 최적성(approximate growth optimality), 기하적으로 감소하는 2종 오류 경계, 그리고 점근적 검정력 1을 갖는 순차 검정(sequential test)을 얻는다. 본 구성에 사용된 대부분의 요소는 잘 알려진 개념들의 변형이다. 이 논문의 가치는 밀도 미지의 시뮬레이션 기반 순차 가설 검정 사례에 대해 효과적이고 항시 유효한 해법을 간결하게 제시하는 데 있다.

arXiv:2610.08132v1cs.DC

한계 모니터링을 넘어서: 대규모 이커머스 운영에서의 데이터 개념 드리프트를 위한 분산 결합분포 검정

Beyond Marginal Monitoring: Distributed Joint-Distribution Testing for Data Concept Drift in Large Scale E-Commerce Operations

개념 드리프트(concept drift)는 프로덕션 머신러닝을 위협하지만, 대규모 환경에서 다변량 이표본(two-sample) 드리프트 검출기의 실증적 거동은 아직 충분히 규명되지 않았다. 기존 벤치마크는 산업 운영 데이터셋에서 흔히 나타나는 수억 개의 행과 높은 카디널리티(high-cardinality)의 특징(feature)을 거의 다루지 않는다. 우리는 다섯 가지 다중 컬럼 이표본 검정(한계 기반, 프로젝션 기반, 커널 임베딩 방법)을 세 가지 상호보완적 환경—Harvard Dataverse, 검증된 Failing Loudly 재현(평균 절대 오차 0.030~0.053), 그리고 1억 3,750만 행 규모의 Trendyol 수집-랭킹 특징 테이블에 대한 새로운 합성 주입(synthetic-injection) 벤치마크—에서 평가한다. 두 가지 심각도-범위(severity-scope) 체제에서 네 가지 드리프트 유형을 테스트한 결과, Apache Spark 상에서 무작위 푸리에 특징(Random Fourier Features)을 적용한 분산 최대 평균 불일치(Maximum Mean Discrepancy, MMD)가 안정적으로 확장됨을 보인다. 강한(strong) 체제에서 네 가지 드리프트 유형에 대해 평균을 내고 보정된 임계값(threshold) 하에서, 이 방법은 예상 드리프트 크기와 피어슨 상관계수 r = 0.940, 참 양성률(true positive rate) 80.4%, 거짓 양성률(false positive rate) 3.2%를 달성한다. 반면, 차원별(per-dimension) 콜모고로프-스미르노프(Kolmogorov-Smirnov) 검정은 비대칭 샘플링 하에서 ID와 유사한 컬럼으로 인한 통계량 포화(saturation)로 인해 실패했으며, 이는 대규모 샘플링 설계에서의 중요한 제약 조건을 보여준다. 약한(weak) 설정(실제 플립 비율 최대 0.57%)에서는 검출기들이 신뢰성 있게 구별하는 데 어려움을 겪었으며, 이는 근본적인 민감도 한계와 확장 가능한 임계값 변화를 구분하기 위한 향후 강도-격자(intensity-grid) 검정력 분석의 필요성을 보여준다.

arXiv:2610.07755v1stat.ML

AI 심사위원을 활용한 신뢰할 수 있는 방법 비교: 순서, 배치 및 집계 효과 하에서의 추정 및 설계

Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects

대규모 언어 모델(LLM)이 자동화된 AI 평가(evaluation)를 위한 심사위원으로 점점 더 널리 사용되고 있습니다. 프롬프트(prompt) 순서를 무작위화하고 결과 점수를 평균 내는 방식이 일반적으로 사용되지만, 이에 대한 통계적 유효성은 여전히 명확하지 않습니다. 본 논문에서는 세 가지 주요 상용 LLM에 걸친 표본 외 예측을 바탕으로, LLM 평가 메커니즘이 마르코프 일반화 선형 혼합 모델(Markov GLMM) 군으로 근사될 수 있음을 보입니다. 1차 마르코프 GLMM을 사용하여 리더보드 순위 산정 및 그룹 비교를 연구합니다. 리더보드 순위 산정의 경우, 무작위화 후 평균을 취하는 선택 방식은 완만한 분리 조건 하에서 일관성을 가지며, 항목 간 품질이 유사할 때는 윌리엄스 정방 설계(Williams square design)를 통해 효율성을 개선할 수 있습니다. 그룹 비교의 경우, 반응 모델의 비선형성으로 인해 단순 평균 계산이 그룹 수준의 품질 차이에 대해 일관되지 않은 결론을 초래할 수 있습니다. 실증적 결과는 고차 시퀀스 메모리가 존재하는 설정을 포함하여, 1차 이론을 넘어서 제안된 모델 기반 추론의 유효성을 더욱 뒷받침합니다. 마지막으로 AI 심사위원이 두 가지 그래피컬 모델 추정 방법을 비교하는 응용 사례를 통해 이 접근법을 실증합니다.

arXiv:2610.07452v1cs.LG

참가자 부담을 줄이면서 비용 효율적인 시계열 예측을 수행하기 위한 능동적 특징 획득

Active Feature Acquisition for Cost-Efficient Temporal Prediction with Reduced Participant Burden

병리적 결과를 정확하게 예측하는 것은 심리학의 핵심 문제입니다. 이를 위해 심리학자들은 집중 종단 데이터(intensive longitudinal data)를 수집하는 경우가 많습니다. 그러나 이러한 연구에서는 정확한 예측을 위해 많은 수의 변수를 획득하려는 요구와 참가자의 부담을 최소화해야 하는 필요성이 상충되곤 합니다. 매 측정 시점마다 더 많은 변수를 수집하면 더 나은 예측을 얻을 수 있지만, 수집 항목이 지나치게 많아지면 무응답 및 이탈 위험이 증가합니다. 종단적 능동적 특징 획득(LAFA, Longitudinal Active Feature Acquisition)은 이러한 딜레마를 해결하기 위한 원칙적인 접근 방식입니다. LAFA는 매 수집 시점마다 모든 문항에 대한 응답을 요구하는 대신, 특정 결과에 대한 예측 능력을 유지하면서 각 시점에 획득할 동적 문항 부분집합을 최적으로 선택하는 정책을 생성합니다. 그러나 기존의 LAFA 방법론은 대부분 실제 적용 시 해석하기 어려운 신경망(NN)을 기반으로 합니다. 본 연구에서는 NN 기반 LAFA 네트워크로부터 해석 가능한 정책을 학습하기 위한 트리 증류(tree distillation) 기법을 소개합니다. 우리는 시뮬레이션과 일일 알코올 소비량 예측에 관한 실증적 EMA 데이터셋을 통해 제안 기법을 검증했습니다. 두 경우 모두 정확도 손실을 최소화하면서 매 시점 획득하는 문항 수를 유의미하게 줄일 수 있음을 확인했습니다. 실제 적용 시 해석하기 어려운 신경망(NN) 문제를 다루며, 본 연구에서는 NN 기반 LAFA 네트워크로부터 해석 가능한 정책을 학습하기 위한 트리 증류 기법을 소개합니다. 우리는 시뮬레이션과 일일 알코올 소비량 예측에 관한 실증적 EMA 데이터셋을 통해 제안 기법을 검증했습니다. 두 경우 모두 정확도 손실을 최소화하면서 매 시점 획득하는 문항 수를 유의미하게 줄일 수 있음을 확인했습니다.

arXiv:2610.07391v1stat.ME

집계된 정규화 흐름의 연쇄를 활용한 복잡한 시뮬레이션 모델의 가능도 근사 및 추론에 대한 관점 고찰

A perspective note on likelihood approximation and inference for complex simulation models using a chain of aggregated normalizing flows

본 논문에서는 대규모 데이터 분석을 위한 확장 가능하고 제어 가능한 시뮬레이션 루틴을 촉진하고, 고차원에서 효율적인 매개변수(parameter) 공간 탐험 또는 매끄러운 보간을 가능하게 하며, 이를 통해 불확실성 정량화뿐만 아니라 가설 검정의 유효한 통계적 처리를 지원하는 시뮬레이션 기반 추론(simulation-based inference) 프레임워크 내에서 가능도(likelihood) 근사 문제에 대한 새로운 관점을 제시합니다. 특히, 사전 복제된 순방향 복잡 시뮬레이션 모델의 관측 데이터셋 집합이 첫 번째 전단사 변환(bijective transformation) 집합을 통과한 후 후속 전단사 변환 집합들을 차례로 거치는, 가능도 근사 체계를 위한 $n$-집계 정규화 흐름(normalizing flows)의 연쇄를 고려합니다. 여기서 임의의 $k \in \{1,\,2, \ldots, n\}$에 대해, 첫 $k$개의 전단사 변환 집합에 해당하는 매개변수들은 나머지 $(n-k)$개의 전단사 변환 집합과 무관하게 유연한 확률 분포를 구성하기 위해 어떤 최적성의 관점에서 순차적으로 추정된다고 가정합니다. 나아가, 전체 정규화 흐름의 추정된 매개변수들을 업데이트하고 집계하기 위해, 모멘트 제약 조건 하의 경험적 가능도 추정량에 기반한 정보이론적 정식화와 혼합 분포를 활용한 순차적 의사결정 패러다임이라는 두 가지 상호보완적인 수학적 논거를 강조하는 것을 목표로 합니다. 그 부산물로서, 본 프레임워크는 순방향 계산 시뮬레이션을 정의하는 모델 매개변수를 조건으로 하여 통계적 검정력을 갖춘 표본 생성을 가능하게 하고, 베이지안 패러다임 내에서 추론, 가설 검정, 불확실성 정량화를 위한 계산적으로 다루기 쉬운 체계를 촉진하는 신뢰할 수 있는 대리 모델(surrogate model)을 제공합니다.

arXiv:2610.07383v1stat.ML

HyperNSDE: 정적-종단적 임상 데이터 결합 생성을 위한 개인화된 신경 SDE

HyperNSDE: Personalized Neural SDEs for Joint Static-Longitudinal Clinical Data Generation

합성 환자 데이터 생성은 헬스케어 머신러닝에서 데이터 희소성과 프라이버시 제약이라는 이중 과제를 해결하는 유망한 솔루션입니다. 환자 수준의 임상 데이터를 사실적으로 합성하려면 이종의 정적 공변량(static covariates), 불규칙하게 샘플링된 종단적 궤적(longitudinal trajectories), 정보성 관측 시점(informative observation times)을 결합하여 모델링해야 합니다. 이 세 요소는 실제로는 긴밀하게 결합되어 있지만 함께 다루어지는 경우는 드뭅니다. 본 논문에서는 하이퍼네트워크를 통해 잠재 신경 SDE(Neural SDE)를 정적 환자 표현에 조건화하는 연속 시간 생성 모델(generative model)인 HyperNSDE를 제안합니다. 이를 통해 궤적 인코더 없이도 기준선(baseline) 특성이 초기 조건을 넘어 궤적 발달에 영향을 미치도록 하며, 확률적 잠재 역학은 생성된 경로에서 사실적인 변동성을 포착합니다. 관측 시점은 잠재 상태 의존 강도 프로세스(intensity process)를 통해 함께 모델링되며, 불규칙한 확률 경로에 대한 학습(training)은 비적대적 시그니처 커널(signature-kernel) 목적 함수를 갖춘 결정론적-확률적 경로 분해를 통해 안정화됩니다. 시뮬레이션 및 실제 임상 데이터셋에 대한 실험은 향상된 관측 시점 충실도와 경쟁력 있는 성능을 보여주며, 일치 격자(matched-grid) 분석은 예측 및 상관관계 지표가 관측 격자 규칙성과 궤적 매끄러움의 영향을 받는다는 점을 밝힙니다.

arXiv:2610.07292v1stat.ML

결측 공변량이 있는 가정-의존성이 적은 로지스틱 회귀

Assumption-lean logistic regression with missing covariates

지도학습(supervised learning) 문제에서는 결측 공변량(missing covariates)이 빈번하게 발생하며, 이러한 데이터를 사용한 추정을 위한 고전적인 방법들은 결측 데이터를 위한 신중하게 선택된 대치(imputation) 기법이나 비볼록(nonconvex) $M$-추정 문제를 초래하는 가능도(likelihood) 근사를 사용합니다. 이러한 방법들과 관련 기법들은 공변량 분포가 알려진 시나리오에 적합하며, 더 넓게는 선형 모델에서 엄청난 성공을 거두었습니다. 그러나 중간 차원의 로지스틱 회귀와 같은 기본적인 비선형 문제에서조차, 이러한 방법들은 공변량 분포를 알 수 없을 때 극단적인 실패 모드를 겪을 수 있습니다. 신뢰할 수 있는 대안의 필요성에 착안하여, 본 논문에서는 결측 공변량이 있는 로지스틱 회귀에서의 매개변수(parameter) 추정 문제를 다룹니다. 결정적으로, 본 연구는 공변량 분포를 알 수 없으나(유계인) 가정-의존성이 적은(assumption-lean) 설정에서 작동합니다. 새로운 단조 연산자(monotone operator)를 갖는 $Z$-추정에 기반한 확률적 근사(stochastic approximation) 방법을 설계하고, 공변량이 완전히 무작위로 결측된다(missing completely at random)는 가설 하에서 제안하는 알고리즘이 계산적으로 효율적이며 모수적 수렴 속도(parametric rate)로 신호 복구를 입증할 수 있음을 규명합니다. 본 이론은 이질적인 관측 확률을 수용하면서 결측 프로파일 측면에서 추정량의 $\ell_2^2$ 위험을 정밀하게 특성화합니다. 중요하게도, 이는 제안하는 방법이 결측 데이터가 있는 관측치를 무시하는 사실상의 표준인 '완전 분석(complete-case)' 추정량보다 항상 우수함을 보여줍니다. 각 공변량이 확률 $q$로 독립적으로 관측되는 균일 결측(homogeneous missingness) 설정에서도, 본 연구의 한계(bound)는 완전 분석만을 사용하는 것보다 상당한 개선을 가져올 수 있는 복잡하고 비표준적인 $q$ 의존성을 나타냅니다. 나아가 이러한 복잡한 $q$ 의존성이 미니맥스(minimax) 관점에서 근본적임을 보여주는 새로운 정보 이론적 하한(lower bound)을 제시하여 상한(upper bound)을 보완합니다.

arXiv:2610.07284v1stat.ME

관련 태스크 간 경험적 베이즈 스펙트럼 부분 풀링

Empirical-Bayes spectral partial pooling across related tasks

스펙트럼 기법(spectral methods)은 고차원 통계학과 머신러닝의 핵심으로, 공분산 추정, 행렬 잡음 제거(matrix denoising), 표현 학습(representation learning), 클러스터링, 잠재 변수 모델링 등의 절차에서 기반이 됩니다. 본 연구에서는 주로 고차원 요인 모델(factor models)을 위한 스펙트럼 추정량에 집중하며, 여기서 데이터 행렬의 주요 특이 벡터(leading singular vectors)는 잠재 구조와 공분산 모수를 추정하는 데 사용됩니다. 그러나 많은 현대적 응용 분야에서는 관련되어 있으면서도 이질적인 태스크, 연구, 도메인 또는 모집단 전반에 걸쳐 데이터가 수집됩니다. 이러한 추정량을 각 태스크에 개별적으로 적용하면 차원에 비해 표본 크기가 제한적일 때 불안정한 추정치로 이어질 수 있는 반면, 데이터를 완전히 풀링(pooling)하면 유의미한 태스크별 고유 구조가 가려질 수 있습니다. 본 논문에서는 태스크별 스펙트럼 추정량을 부분적으로 풀링하기 위한 확장 가능한 경험적 베이즈(empirical-Bayes) 프레임워크인 계층적 스펙트럼 축소(\texttt{HSS}, Hierarchical Spectral Shrinkage)를 제안합니다. 이 방법은 데이터 적응적으로 학습된 공통 기저를 향해 각 태스크의 주요 스펙트럼 방향을 정규화(regularization)하는 동시에, 축소(shrinkage) 정도가 태스크 및 스펙트럼 성분별로 달라질 수 있도록 허용합니다. 제안된 추정량은 경험적 특이 벡터의 대리 베이지안 회귀 공식화에서 사후 평균(posterior mean)으로 도출됩니다. 요인 모델의 경우, \texttt{HSS}는 그룹별 적재 공간(loading spaces) 및 공분산 행렬의 부분 풀링된 추정량을 산출하며, 경험적 특이 벡터를 계층적으로 정규화된 대응물로 대체함으로써 다양한 스펙트럼 추정량과 결합될 수 있습니다. 더 넓게는, 동일한 구조가 관련되어 있으면서도 이질적인 데이터셋 모음으로 스펙트럼 추정량을 확장하는 메커니즘을 제공합니다. 합성 실험과 다중 연구 유전자 발현 데이터를 통해 개별 추정, 완전 풀링, 공유 부분공간 접근법 대비 추정 정확도와 표본 외(out-of-sample) 성능이 크게 향상됨을 입증합니다.

arXiv:2610.07190v1stat.ME

최소 거리 방법을 통한 확률 변수 합의 포아송 경험적 베이즈 추정

Poisson empirical Bayes estimation of sums of random variables via minimum-distance methods

관측 가능한 변수와 관측 불가능한 변수의 함수들의 합을 추정하는 것은 통계학에서 오랜 역사를 지닌 문제이며, 다양한 분야에 응용되고 있습니다. 본 논문에서는 경험적 베이즈(empirical Bayes)가 자연스러운 프레임워크를 제공하지만 비모수적 이론은 여전히 제한적인 포아송 혼합 모델(Poisson mixture models)에서 이 문제를 다룹니다. 우리는 미지의 혼합 분포에 대한 정규 및 조대화(coarsened) 최소 거리 추정에 기반한 비모수 경험적 베이즈 방법론을 개발합니다. 이러한 합의 광범위한 클래스에 대해, 결과로 도출된 플러그인 추정치가 오라클 베이즈 추정치와 점근적으로 일치함을 보여주는 대표본 보장(large-sample guarantees)을 확립합니다. 특히 혼합 분포의 지지집합(support)이 유한할 때, 로그 인수를 제외하고 거의 모수적 수렴(convergence) 속도를 달성합니다. 이어서 우리는 두 가지 대표적인 합에 대한 유한 표본 분석을 제공합니다. 이는 관측된 카운트가 고정된 임계값을 초과하지 않는 단위들의 총 강도(total intensity)와, 관측된 카운트가 잠재 강도를 초과하는 단위들의 수입니다. 총 강도 합에 대해 미니맥스 리그릿(minimax regret)의 하한을 확립하고, 혼합 분포에 대한 콤팩트 지지집합 및 서브지수(subexponential) 가정하에서 정규 및 조대화 최소 거리 절차 모두에 대한 상한을 도출합니다. 이러한 상한은 로그 인수를 제외하고 미니맥스 속도와 일치하며, 조대화 수준이 고정된 경우 콤팩트 지지집합 설정에서의 조대화 절차는 해당 속도와 정확히 일치합니다. 평균 초과 합은 뚜렷하게 다른 거동을 보입니다. 즉, 미니맥스 리그릿의 하한은 일반적으로 유계 리그릿(bounded regret)을 달성하는 것이 불가능함을 보여줍니다. 우리는 로그 인수를 제외하고 유계 리그릿을 회복할 수 있는 추가적인 안정성 조건을 식별하며, 혼합 분포가 유한 지지집합을 가질 때 이러한 조건들이 자동으로 충족됨을 보입니다. 합성 데이터와 실제 데이터에 대한 수치 실험을 통해 제안된 방법론의 성능을 입증합니다.

arXiv:2610.07048v1stat.ML

변수 측정 오차 문제를 위한 데이터 융합

Data Fusion for Errors-in-Variables

본 연구에서는 대상 연구(target study)에는 관측되지 않은 노출 변수에 대해 오차가 존재하는 단일 대리 변수만 포함되어 있는 반면, 외부 소스 연구(source study)에서는 서로 다른 모집단으로부터 반복 측정된 대리 변수를 제공하는 변수 측정 오차(errors-in-variables) 문제를 다룹니다. 측정 오차 분포는 관측된 오차 없는 변수에 의존할 수 있으며, 오차 없는 변수의 분포 자체도 연구 간에 다를 수 있습니다. 저자들은 소스-대상 이질성 하에서 외부 반복 측정을 활용할 수 있도록 하는 조건부 전이 가능성(conditional transportability) 가정을 도입합니다. 이 가정은 추가적인 반복 측정 오차 조건과 함께 대상 조건부 측정 오차 분포를 식별합니다. 이러한 식별 결과를 바탕으로 광범위한 대상 함수형(target functionals) 클래스에 대한 데이터 융합 추정량을 개발합니다. 이 추정량은 조건부 디컨볼루션(conditional deconvolution), 유연한 뉘앙스 모수 추정, 그리고 뉘앙스 추정에 대한 1차 민감도를 줄이는 직교 보정(orthogonal correction)을 결합합니다. 제안된 추정량에 대해 확산 스펙트럼 및 유한 원자 스펙트럼 대상 함수형을 모두 포괄하는 통합 스펙트럼 이론을 개발하고, 일반적인 점근 전개를 유도하며, 일치성 및 대상별 수렴(convergence) 속도 상한을 확립합니다. 도출된 수렴 속도 상한은 측정 오차, 잠재 노출 변수, 대상 함수형의 스펙트럼 특성에 공동으로 의존합니다. 유한 원자 스펙트럼 대상의 경우, 추가적인 중심화 조건 하에서 매끄러운 적률 변환에 대한 추론(inference)을 산출하는 결합 가우시안 및 부트스트랩 극한을 추가로 확립합니다. 보고된 시뮬레이션에서 Fuse-EIV는 주요 노출 관련 계수에 대해 작은 바이어스(bias)를 보입니다. 미국 국민건강영양조사(NHANES)에 대한 적용은 모집단 이질성과 오차의 이분산성을 고려하는 것이 실증적 결론을 어떻게 바꿀 수 있는지 보여줍니다.

arXiv:2610.07045v1stat.ME

효율적인 자원 배분을 활용한 다중 작업 능동 학습

Multi-Task Active Learning with Efficient Resource Allocation

많은 과학적 연구에서는 데이터 라벨링(labeling) 과정에서 비용이 많이 드는 보조 정보의 수집을 허용하지만 배포(deployment) 시점에는 이를 허용하지 않습니다. 진단 검사, 실험실 분석, 전문가 평가 등이 대표적인 예입니다. 본 연구에서는 이러한 배포 비대칭성(deployment asymmetry) 하에서의 예측 문제를 다룹니다. 이 환경에서는 예산 제약 조건 하에서 라벨링 중 보조 변수를 선택적으로 획득하지만 예측 시점에는 체계적으로 활용할 수 없어, 데이터 획득, 대리(surrogate) 모델 구축, 예측이 서로 결합된 설계상 결측(missing-by-design) 문제가 발생합니다. 본 연구에서는 자원 제약 하에서 보조 정보를 선택적으로 획득하고 해당 정보를 활용하여 다운스트림 예측 성능을 향상시키는 통합 프레임워크인 ALCATRAs(Active Learning with Cost-Adaptive Task Resource Allocations)를 제안합니다. ALCATRAs는 두 가지 핵심 구성 요소로 이루어져 있습니다. 즉, 미라벨링 데이터를 위해 수행할 비용 효율적인 일련의 작업을 전략적으로 선택하는 작업 선택 정책(task-selection policy)과 완료된 작업의 지식을 전이하여 모델의 예측을 강화하는 대리 학습(surrogate learning) 절차입니다. 이론적으로는 대리 모델과 표본 효율적인 작업 정책이 모델의 예측 오차 상한(prediction error bound)을 개선하는 데 효과적임을 보입니다. 시뮬레이션 연구와 UCI 심장 질환 코호트에 대한 적용을 통해, 연구된 설정에서 제안된 ALCATRAs 프레임워크가 베이스라인 대비 향상된 표본 효율성을 달성함을 입증합니다.

arXiv:2606.11570v2stat.ML

전자 건강 기록에서 강건하고 유연한 지식 전이를 통한 스펙트럼 임베딩 강화

Enhancing Spectral Embedding through Robust and Flexible Knowledge Transfer in Electronic Health Records

본 논문에서는 데이터가 고차원이지만 표본 크기가 제한적인 전자 건강 기록(EHR)의 희귀질환 코호트에서 임상 개념과 환자에 대한 저차원 임베딩(embedding)을 도출하기 위한 스펙트럼 기반 비지도 표현 학습 프레임워크를 제안합니다. 이러한 문제를 극복하기 위해, 희귀질환 코호트와 부분적으로 중첩되는 부분 공간을 공유하는 더 넓은 모집단에서 추출한 지식 행렬을 통합합니다. 본 연구의 방법은 잠재 데이터 행렬과 지식 행렬 간의 제한적인 일대일 신호 정렬 가정을 완화하여, 보다 유연하고 현실적인 형태의 구조적 공유를 허용함으로써 기존 접근법들과 차별화됩니다. 또한 새로운 2단계 스펙트럼 임베딩 절차를 도입합니다. 먼저 지식 행렬에서 무관한 성분을 식별하여 제거한 다음, 사영(projection) 기반 방법을 적용하여 공유 성분과 이질적 성분을 분리하여 복원합니다. 시뮬레이션 및 실제 다발성 경화증 코호트 분석 결과에 따르면, 제안된 방법은 희귀질환 데이터에서 흔히 나타나듯 공유 신호가 약하고 부분적으로만 정렬되는 까다로운 시나리오에서 특히 경쟁 방식들보다 우수한 성능을 보입니다.

arXiv:2605.17705v2stat.ML

비교환 패널 데이터를 위한 온라인 등분산 예측

Online Conformal Prediction for Non-Exchangeable Panel Data

본 논문에서는 부분적으로 관측되는 패널 데이터에서의 온라인 등분산 예측(online conformal prediction)을 연구합니다. 이 환경에서는 각 대상 결과(target outcome)가 나타나기 전에 동료 결과(peer outcome)들의 새로운 횡단면이 먼저 관측되며, 대상 피드백은 간헐적이거나 부재할 수 있고, 개체(unit)나 라운드 모두 교환가능성(exchangeability)을 만족할 필요가 없습니다. 본 연구는 개체 이력으로부터 학습된 유사도 가중치와 적응형 대상 맞춤 미적중률(miscoverage level)을 결합한 가중치 기반 시계열 분위수 조정(Weighted Temporal Quantile Adjustment, W-TQA) 방식을 제안합니다. 이론적으로 대상-동료 간 불일치(mismatch)와 비공개 라운드에서의 커버리지 모두 식별 가능하지 않음을 증명함으로써, 개체 간 유사도 및 피드백 메커니즘에 대한 가정을 피할 수 없음을 밝힙니다. 또한 이러한 불일치를 바탕으로 과거 조건부 미적중률의 상계를 도출하고, 프로파일 유사도 가정하에서 가중치 학습 비용을 수량화하며, 가장 큰 동료 점수를 대체값으로 사용하는 실제 구현 절차가 완전 무작위 결측(MCAR) 피드백 및 캘리브레이션 패널의 실행 가능성 조건하에서 장기 평균 커버리지를 달성함을 보입니다. 합성 패널 및 실제 비동기 미국-도쿄 주식 패널을 포함한 4개의 실제 패널 데이터 실험에서, W-TQA는 모든 패널에서 가장 낮은 커버리지를 보였던 대상 개체들에 대해 가장 높은 커버리지를 달성했습니다. 유사도 가중치는 대상 피드백이 희소할 때 가장 크게 기여하는 반면, 시계열 적응은 피드백이 축적될수록 더 큰 효과를 보였습니다.

arXiv:2605.00455v2stat.ME

예측 베이즈 추론에서의 집중 및 캘리브레이션

Concentration and Calibration in Predictive Bayesian Inference

예측 베이즈 추론(Predictive Bayesian inference, PBI)은 표준 베이즈 추론(Bayesian inference)에 대한 모델 및 사전확률에 구애받지 않는(model- and prior-agnostic) 접근법으로, 관측되지 않은 미래 데이터에 대한 전방 예측 모델(forward predictive model)만을 지정함으로써 사용자가 관심 있는 범함수(functional)에 대한 불확실성을 정량화할 수 있게 해줍니다. 이러한 프레임워크의 유연성과 범용성 덕분에 이 접근법을 구현하기 위한 수많은 새로운 알고리즘과 다양한 실증적 응용이 등장했지만, 관심 대상인 기저의 통계적 범함수에 대해 도출된 추론 결과의 신뢰성은 여전히 불분명합니다. 본 논문에서는 관심 대상인 모집단 범함수에 대해 PBI를 적용할 때, 도출되는 사후분포가 해당 방법의 기반이 되는 예측 재귀(predictive recursion)를 구현하는 데 사용된 전방 예측 모델에 명시적으로 의존하는 잘 정의된 양으로 집중(concentrate)됨을 증명합니다. 나아가, 전방 예측 모델은 PBI에서 생성되는 불확실성 정량화를 전적으로 결정합니다. 결과적으로 우리의 연구 결과는 예측 모델이 데이터의 모든 관련 특징을 포착하지 못할 경우, 매우 단순한 예시에서조차 관심 범함수의 모집단 값에 대한 예측 베이즈 신뢰 구간(credible sets)의 커버리지가 0에 임의로 가까워질 수 있음을 보여줍니다. 우리는 이러한 현상이 발생하는 이유를 면밀히 설명하며, 이 동작이 PBI 프레임워크 내에서 미래 관측값을 생성하는 데 사용된 전방 예측 모델의 부정확성과 직접적으로 연결되어 있음을 밝힙니다. 결론적으로, 우리의 연구 결과는 PBI가 캘리브레이션된 사후 추론을 제공하기 위해서는 사후 샘플을 생성하는 데 사용되는 예측 엔진이 잘 정의된 의미에서 참 데이터 생성 과정(DGP)을 포함해야 하며, 그렇지 않으면 이 프레임워크 하에서 생성된 추론은 캘리브레이션되지 않음을 시사합니다.

arXiv:2512.20007v3stat.ML

커널화된 스타인 괴리를 통한 계산 효율적인 적합도 검정

Computationally efficient goodness-of-fit tests through kernelized Stein discrepancy

계산 불가능한(intractable) 정규화 상수를 갖는 모델은 통계학과 머신러닝에서 널리 사용됩니다. 이러한 모델의 적합성을 평가하는 데는 상당한 어려움이 따릅니다. 적합된 모델로부터 표본을 얻기 위해 종종 정교한 샘플링 알고리즘이 필요하기 때문입니다. 게다가 모델 적합에는 때때로 반복적인 수치적 최적화가 요구되므로, 반복적인 재적합이 필요한 부트스트랩 절차는 계산 비용이 매우 높습니다. 본 논문에서는 커널 기반 검정 프레임워크를 활용하여 커널화된 스타인 괴리(kernelized Stein discrepancy)에 기반한 일반적인 준모수 적합도 검정(goodness-of-fit test)을 개발합니다. 일반적인 방해 모수(nuisance parameter) 추정 조건에서 검정 통계량의 일치성(consistency)과 점근적 귀무 분포를 규명합니다. 유의수준 $α$ 검정을 생성하기 위해, 모델을 재적합하거나 모델로부터 샘플링할 필요가 없는 새로운 영향도 조정 와일드 부트스트랩(influence-adjusted wild bootstrap)을 제안합니다. 귀무가설 및 대립가설 하에서 제안된 부트스트랩 검정 절차의 일치성을 증명하고, 인접 국소 대립가설(contiguous local alternatives) 하에서 극한 검정력을 규명합니다. 고전적인 정규성 검정부터 다루기 힘든 우도를 갖는 모델에 이르는 시뮬레이션 전반에 걸쳐, 제안된 검정은 기존 접근 방식보다 수 자릿수(orders of magnitude) 낮은 계산 비용으로 경쟁력 있거나 우수한 검정력을 제공합니다. 폐선암 종양의 역상 단백질 배열(RPPA) 데이터에 대한 단백질 신호 네트워크 모델의 적합성을 평가함으로써 본 방법론을 실증합니다. 보완적인 통찰로서, 본 연구는 SKSD 검정이 지수적으로 기울어진(exponentially tilted) 모델 하에서 비모수 스코어 검정으로 간주될 수 있음을 보여주며, 스코어 기반 및 거리 기반 적합도 검정을 연결합니다.

arXiv:2610.02952v1cs.SE

GTDD: 적대적 테스트를 활용한 AI 코딩 에이전트를 위한 생성적 테스트 주도 개발

GTDD: Generative Test-Driven Development for AI Coding Agents with Adversarial Testing

테스트 주도 개발(Test-Driven Development, TDD)은 AI 코딩 에이전트에게 소프트웨어를 구현하기 위한 실행 가능한 요구사항을 제공한다. 이러한 에이전트는 자신이 관찰한 예시에 맞춰 구현을 조정할 수 있기 때문에, 미리 정해진 테스트 집합을 통과하더라도 의도된 동작의 상당 부분이 구현되지 않은 채로 남을 수 있다. 우리는 생성적 테스트 주도 개발(Generative Test-Driven Development, GTDD)을 제안한다. 이는 테스트 주도 개발의 한 형태로, 별도의 테스트 에이전트가 각 후보 구현이 확정된 후 사람이 명시한 행동 계약(behavioral contract)과 이전 라운드의 피드백을 활용하여 새로운 입력을 생성한다. 신뢰할 수 있는 평가자(evaluator)가 이러한 입력을 검사하고, 축소된 반례(counterexample)를 코딩 에이전트에게 반환하며, 이를 회귀 테스트(regression testing)를 위해 저장함으로써, 개발 과정이 초기 예시를 넘어선 실패 사례들과 지속적으로 마주하게 한다. 우리는 적응적 후보 선택(adaptive candidate selection) 하에서의 오수용(false acceptance)에 대한 유한 모집단 분석을 통해 이 과정이 제공하는 근거를 특성화한다. 그 결과로 도출된 경계(bound)는 테스트 가시성(test visibility)과 반복적인 피드백이 수용(acceptance)에 미치는 영향을 정량화하며, 후보가 확정된 이후의 새로운 무작위 감사(random audit)가 개발 라운드 전반에 걸쳐 오수용을 제어한다는 것을 보여준다. 상태를 가지는(stateful) 키-값 저장소(key-value store)에 대한 대응 실험(paired experiment)에서, 개발 과정 중 테스트를 재생성한 두 정책 모두 동일한 언어 모델에 의해 테스트가 한 번만 생성된 정책보다 평균 실패율이 더 낮게 나타났으며, 테스터에게 후보의 소스 코드를 제공하는 것은 감지 가능한 추가적인 개선을 만들어내지 못했다. 동일한 수의 테스트를 요청하는 추가 조건들에서도 이러한 차이의 원인이 되는 정책의 단일 특징(feature)을 분리해내지 못했다. GTDD는 이러한 적응적 개발 피드백을 확립된 회귀 테스트 및 독립적인 수용 규칙(acceptance rule)과 결합한다.

arXiv:2610.02893v1stat.ME

고차원 데이터를 위한 잔차 트리 가우스 과정 모델링 프레임워크

A Residual Tree Gaussian Process Modeling Framework for High-Dimensional Data

측정 기술의 발전과 컴퓨팅 파워의 증가로 다차원 도메인에서 이질적인 구조를 갖는 대규모 공간 데이터가 수집되는 경우가 많아졌습니다. 기존의 가우스 과정(GP) 모델과 계산 전략은 다차원 도메인의 이러한 데이터셋을 분석하기에 부적합한 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 다차원 도메인에서 잠재적으로 이질적인 구조를 지닌 대규모 공간 데이터를 처리하기 위한 베이즈 잔차 트리 GP 방법론인 ResTGP를 개발합니다. 핵심 아이디어는 이진 트리(dyadic tree)를 따라 일련의 해상도 단계에서 예측 및 잔차 과정을 반복적으로 계산함으로써 가우스 과정을 분해하여, 내부 및 잎 노드(node)를 포함한 각 트리 노드의 잔차 과정이 해당 노드 내의 더 미세한 수준의 의존성을 충분히 포착하도록 하는 것입니다. 이를 통해 유연한 다중 스케일 방식으로 기저의 공분산 구조를 특성화하는 동시에 데이터 도메인에 대한 분할 정복을 달성하여 계산 효율성을 확보할 수 있습니다. 또한 효율적인 트리 추론(inference)을 위해 재귀적 메시지 전달에 기반한 베이지안 추론 계산 전략을 도입하며, 이는 트리가 주어졌을 때 표본 크기에 따라 선형적으로 스케일링됩니다. 아울러 본 논문에서는 비모수적 회귀 프레임워크에서 연속 함수를 추정하기 위한 모델의 사후 일치성(posterior consistency)을 증명합니다. 광범위한 수치 예제와 폭풍 해일 적용 사례를 통해 제안된 방법의 이점을 확인합니다.

arXiv:2609.36142v2stat.ME

코퓰라 능동 부분공간 I: 축소 차수 비가우시안 밀도 추정을 위한 스코어-공분산 방법

Copula Active Subspaces I: A Score-Covariance Method for Reduced-Order Non-Gaussian Density Estimation

비가우시안 관측 잡음(observation noise)을 갖는 베이지안 추론(Bayesian inference) 문제에서, 사후분포(posterior)의 정확도는 잡음 밀도의 정확도에 의해 결정되며, 그래디언트 기반 샘플러(gradient-based sampler)는 명시적 표현식이든 코드이든 내부 해(inner solve) 없이 이 밀도와 그 그래디언트를 점별로(pointwise) 계산할 수 있어야 한다. 우리는 이러한 잡음 밀도를 표현하기 위해 코퓰라 능동 부분공간(Copula Active Subspaces, CAS)을 제안한다. 성분별 순위 변환(componentwise rank transform)은 잡음 법칙의 의존성을 해당 코퓰라(copula) 안에 분리해내며, 랭크-$r$ 축소(rank-$r$ reduction)는 그 의존성이 변화하는 방향만을 유지한다. 이러한 방향은 코퓰라 스코어 공분산(copula score covariance) $\boldsymbol{C} := \mathrm{Cov}_{π_{\boldsymbol{Z}}}(\nabla\log c^{Z})$의 선도 고유벡터(leading eigenvector)이며, 이것이 바로 이 축소를 코퓰라 능동 부분공간으로 만드는 요인이다. $\boldsymbol{C}$는 좌표들이 독립일 때 0이 되므로, 이 방향들은 의존성의 방향이며, 데이터의 공분산만으로는 식별될 필요가 없다. 이 구성으로부터 명시적 상수 $\tfrac{1}{2}$를 갖는 가우시안 기준(Gaussian-reference) KL 발산(KL divergence) 상한이 도출되며, 이는 모든 랭크-$r$ 축소 중에서 바로 이 고유공간(eigenspace)에 의해 최소화된다; 또한 표본만으로 계산 가능한, 축소가 남기는 오차에 대한 진단 지표(diagnostic)가 도출되며; 에르미트 스코어 매칭(Hermite score matching)으로부터는 절단 차수(truncation order)와 2단계(Stage-2) 정규화 상수를 검증 표본(validation sample)에서 선택한, 폐쇄형(closed form)의 축소된 로그밀도(log-density)와 그 그래디언트가 도출된다. 이 축소는 $d$차원 밀도 추정 문제를 $r$차원 문제로 대체한다. $d=20$ 잡음 법칙과 그 잡음을 갖는 베이지안 추론 문제에서, CAS는 가우시안-코퓰라(Gaussian-copula), 주변분포의 곱(product-of-marginals), PCA 부분공간(PCA-subspace) 기준선(baseline) 대비 잡음 KL 발산을 5배 이상, 사후분포 KL 발산을 7배 이상 낮추며, 추가적인 두 개의 $d=20$ 예제에서는 잡음 KL 발산을 각각 약 $3.5$배와 $2.7$배 낮춘다.