본 논문에서는 다수의 이방성(anisotropic) 클래스 데이터를 사용하여 단일 패스 확률적 경사하강법(SGD)으로 학습하는 고차원 문제의 학습 동역학을 분석하는 프레임워크를 개발한다. 주요 정리는 위험도(risk) 및 진신호(true signal)와의 중첩(overlap)을 포함한 관심 지표들에 대해, 고차원 극한에서 유효한 결정론적 ODE 시스템으로 정확한 표현식을 제공한다. 이 정리는 광범위한 최적화 문제에 적용되며, 클래스 수가 차원과 함께 증가하는 설정으로도 확장된다. 활용 예시로서, 이진 로지스틱 회귀와 최소제곱(LS) 손실 문제에서 데이터의 이방성 구조가 미치는 영향을 상세히 분석한다. LS 손실은 선형 다중 클래스 설정에서 연구하며, 공분산 행렬의 평균 고유값에 의존하는 학습률 임계값을 도출한다. 이진 로지스틱 회귀에서는 세 가지 경우를 분석한다: 등방성(isotropic) 공분산, 영 고유값 비율이 높은 데이터 공분산 행렬(영-일 모델로 표기), 그리고 거듭제곱 법칙 스펙트럼을 갖는 공분산 행렬. 이 과정에서 구조적 위상 전이(phase transition)가 발생함을 보인다. 특히 영-일 모델과 충분히 큰 지수를 갖는 거듭제곱 법칙 모델에서, SGD는 '깨끗한 방향들'(즉, 분산이 작은 방향들)에 투영된 클래스 평균값과 더욱 긴밀하게 정렬됨을 보인다. 이는 고차원 극한에서 손실의 정확한 점근적 거동을 보여주는 해석적 연구 및 수치 시뮬레이션을 통해 뒷받침된다. 본 논문에서 입증한 데이터 이방성의 영향은 이러한 예시들을 넘어서도 성립할 가능성이 높으며, 증명된 광범위한 정리의 한 가지 응용을 보여준다.
통계 모델에 대한 특정 학습 데이터 포인트의 영향은 고전적으로 leave-one-out 영향력을 통해 측정되며, 이는 학습 세트에서 해당 포인트를 제거했을 때 모델 정확도에 미치는 효과를 정량화한다. Leave-one-out 영향력의 통계적 특성은 저차원 대표본 극한 $n\to \infty, d=O(1)$에서는 잘 이해되어 있지만, 고차원에서는 특정 샘플의 영향력이 다른 모든 학습 샘플과 비자명한 의존성을 형성하게 되어 더욱 복잡해진다. 가우시안 설계 하의 볼록 M-추정에서, 고차원 극한 $n\asymp d$에서 학습 세트 전체에 걸친 영향력의 분포가 특정 극한 측도로 수렴함을 보이며, 이를 정밀하게 특성화한다. 이러한 결과를 바탕으로, 영향력이 큰 샘플이 결정 경계(decision boundary) 근처에 위치하는 경향이 있음에 대한 근거를 제시하며, 이를 통해 능동 학습(active learning)의 표준적인 데이터 선택 휴리스틱과의 연결점을 확인한다.
$\mathbb{R}^d$ 상의 $n$개 가우시안 벡터로 이루어진 두 집합을 관측한다고 하자. 이때 $[n]$의 어떤 순열과 $\mathbb{R}^d$의 어떤 회전을 적용하면 두 집합이 $ρ$-상관 관계를 가진다는 보장이 주어진다. 프로크루스테스 매칭 문제(Procrustes matching problem)는 두 집합을 정렬하는 미지의 순열을 복원하는 것이다. 이 문제는 저차원 영역 $d=O(\log n)$에서는 잘 연구되어 있으나, 고차원 영역 $d\gg \log n$은 대체로 미개척 상태로 남아 있었다. 기존의 매칭 보장은 정보이론적 복원의 경우에도 거의 완벽한 상관관계 $ρ=1-o(1)$을 요구한다. 본 논문의 주요 결과는 상수 상관관계에서 정확 복원을 달성하는 다항 시간 알고리즘이다. 이 알고리즘은 특별히 선택된 "폭이 넓은" 트리 계열의 가중 계수를 계산하고 비교하는 방식으로 동작한다. $d\ge \mathrm{polylog}(n)$인 한, $α\approx 0.338$이 Otter의 트리 계수 상수일 때 $ρ^2>\sqrtα$를 만족하는 임의의 $ρ$에 대해 알고리즘이 높은 확률로 성공한다. 이 알고리즘 결과를 보완하여 개선된 정보이론적 보장도 제시하는데, $ρ^2 \gtrsim \max\{\log n/d,\sqrt{\log n/n}\}$일 때 정확 복원이 가능함을 보인다. 또한 저차 이점(low-degree advantage) 계산을 수행하며, 이는 $ρ^2 > \sqrtα$ 조건이 임의의 트리 계수 알고리즘에 필요함을 시사한다.
두 데이터셋의 공분산 구조 중 일부만 공유되는 상황을 모델링하는 부분 공유 부분공간(PSS, Partially Shared Subspace) 모델을 제안하며, 랜덤 행렬 이론을 활용해 공유 부분공간의 랭크와 위치를 결합 추정하고 최적 풀링 가중치를 폐쇄형으로 도출한다. 이 프레임워크는 고차원 설정에서 기존 대조적 차원 축소(CDR) 방법의 이론적 공백을 해소하며, COVID-19 팬데믹 기간 포트폴리오 구성과 뇌종양 유전자 발현 분석에 적용해 유효성을 검증한다.
공통 충격으로 인한 횡단면 의존성이 있는 고차원 패널 데이터 환경에서, MIDAS 집계와 잠재 요인(latent factor)을 결합한 요인 증강 희소 그룹 LASSO(sparse-group LASSO) 추정량의 점근 이론을 개발한다. 이 추정량은 혼합 빈도 데이터의 그룹 구조를 활용하여 예측과 추정 모두에서 표준 LASSO를 능가할 수 있음을 이론적으로 보인다.
지난 10년간, 비례적 체제(proportional regime)에서 다양한 고차원 모델의 정확한 점근적 위험(asymptotic risk)을 규명하는 연구들이 활발히 이루어졌다. 이 발전을 이끈 두 가지 핵심 결과가 있다: 가우시안 보편성(Gaussian universality)은 비가우시안 데이터와 가우시안 데이터로 학습된 추정량의 점근적 위험이 동등함을 보이고, 볼록 가우시안 최소-최대 정리(convex Gaussian min-max theorem, CGMT)는 가우시안 설정 하에서의 위험을 규명한다. 그러나 이러한 결과들은 데이터가 독립적인 랜덤 벡터로 구성된다는 가정에 의존하며, 이 가정은 많은 실용적인 환경에 대한 적용 가능성을 크게 제한한다. 본 논문에서는 두 결과를 종속적 설정으로 일반화함으로써 이 한계를 해결한다. 보다 구체적으로, 블록 종속성(block dependence), $m$-종속성($m$-dependence), 그리고 혼합(mixing)의 특수한 경우들 하에서 고차원 로지스틱 회귀에 대한 가우시안 보편성이 여전히 성립함을 증명하고, 공변량(covariate)과 관측값 모두에 걸친 상관관계를 수용하는 새로운 CGMT 프레임워크를 구축한다. 이 결과들을 활용하여, 심층 학습에서 널리 사용되는 관행인 데이터 증강이 점근적 위험에 미치는 영향을 규명한다.
그래프 스패닝 비율(Graph Spanning Ratio, GSR)을 활용하여 저차원부터 고차원까지의 오프라인 및 온라인 데이터에서 평균·분산 변화점을 탐지하는 비모수적 알고리즘을 제안하며, 미지의 분포에도 적용 가능하다. 이론적으로 변화 크기가 미니맥스 분리율 하한인 $\sqrt{nd}$ 차수를 초과할 때 높은 탐지 검증력을 달성함을 증명하고, 가우시안·비가우시안 데이터 모두에서 기존 기법을 능가하며 작은 관측 윈도우에서도 온라인 환경에 효과적임을 보인다.
고차원 선형 회귀에서 희소성 가정 없이 사전분포를 비모수적으로 추정하기 위해, 나이브 평균장(naive mean field) 변분 근사 기반의 경험적 베이즈(empirical Bayes) 방법론의 점근적 일관성을 이론적으로 엄밀하게 확립하였다. NPMLE와 그 변분 대리자(variational surrogate)의 수렴률을 1-Wasserstein 거리 하에서 증명하고, 이를 통해 사후 신뢰 구간 구성 및 회귀 계수의 베이즈 최적 추정 등 계산 가능한 베이즈 추론을 가능하게 한다.
We study ridge-regularized log-density-ratio estimation in the Gaussian location model with a common covariance matrix. By affine invariance, the model is written as q $\sim$ N(0, I), p $\sim$ N($Δ$, I), with linear features, where $Δ$ is a mean vector. The variational estimator is the empirical Kullback-Leibler (KL) log-normalized fit with a squared L2-penalty on its nonconstant coefficient, and the spectral estimator recently introduced in [1] replaces a single variational problem by a continuum of ridge-regularized least-squares problems. We derive high-dimensional deterministic asymptotic equivalents when the numbers of observations and dimension tend to infinity with fixed ratios. The regularized variational limit is characterized by a scalar entropy minimization problem derived from the convex-Gaussian-min-max theorem (CGMT), while the regularized spectral limit follows from deterministic equivalents for resolvents of weighted sums of two independent Gaussian sample covariance matrices. We use these formulas to compare population risks, with experiments focused on fixed-signal aspect-ratio sweeps and optimized regularization. Our conclusion is that with many observations, under the criteria and asymptotic regimes analyzed here, the well-specified variational estimator has the smaller risk, while with fewer observations, the spectral estimator is favored because its covariance-based construction has lower variance. We also study how a nuclear penalty can be used and partially analyzed to perform feature learning.
인과 매개 분석(causal mediation analysis)은 처리 효과를 매개변수를 통한 간접 경로와 이를 통하지 않는 직접 경로로 분해한다. 현대 생의학 연구에서는 저차원 잠재 생물학적 과정에 대한 잡음이 있는 대리 변수인 고차원 공변량과 매개변수가 흔히 등장한다. 기존 방법들은 대개 희소성(sparsity), 선형 인자 모델에 의존하거나, 측정이 비선형이고 공변량 및 매개변수 인자가 구조적으로 종속되어 있는 경우 제한적일 수 있는 방식으로 학습된 표현 내 변수들 간의 연결을 무시한다. 본 논문에서는 비선형 고차원 매개 분석을 위한 표현 학습 프레임워크인 MediEncoder를 제안한다. MediEncoder는 처리 및 공변량 표현을 매개변수 표현과 연결하는 교차 인자 네트워크(cross-factor network)를 갖춘 결합된 인코더-디코더 아키텍처를 통해 저차원 공변량 및 매개변수 표현을 공동으로 학습한다. 이렇게 학습된 특징들은 자연 직접 효과(natural direct effect) 및 자연 간접 효과(natural indirect effect)의 교차 적합(cross-fitted) 효율적 영향 함수 기반 추정량에 활용된다. 결과적인 추정량은 적절한 정칙성 조건 하에서 다중 강건(multiply robust)하고 점근적 정규성을 지닌다. 시뮬레이션을 통해 MediEncoder가 경쟁하는 차원 축소 접근법들에 비해 추정 정확도를 향상시킴을 확인하였으며, 알츠하이머병 신경영상 이니셔티브(Alzheimer's Disease Neuroimaging Initiative) 데이터에 대한 적용 사례는 고차원 생의학 인과 매개 분석에서의 실용성을 보여준다.
우리는 결정 변수 $\boldsymbol{\Theta} \in \mathbb{R}^{p \times k}$를 갖고, 비용 함수가 $n$개의 항의 합으로 구성되며 각 항이 $k$차원 투영 $\boldsymbol{\Theta}^\top \boldsymbol{x}_i$를 통해 $\boldsymbol{\Theta}$에 의존하는 최적화 문제의 일반적인 클래스를 연구한다. 여기서 $\boldsymbol{x}_i$, $i \leq n$은 i.i.d. 랜덤 벡터이다. 이 설정은 통계 물리학, 고차원 통계학, 통계적 학습 이론에서 현재 관심받는 사례들을 포함할 만큼 충분히 일반적이다. 우리는 $n, p \to \infty$이고 $n/p = \Theta(1)$인 비례적 점근(proportional asymptotics)을 고려하며, "비국소화(delocalization)" 조건의 적절한 일반화를 만족하는 최솟값이 존재할 때마다 최솟값이 보편적임을 증명한다. 즉, (서브가우시안 $\boldsymbol{x}_i$에 대해) 최솟값은 $\boldsymbol{x}_i$의 분포에 대해 점근적 평균과 공분산을 통해서만 의존한다. 이 비국소화 조건은 본질적으로 필요조건이다. 이러한 문제들에 대한 기존의 보편성 결과는 강볼록(strongly convex) 손실 함수에 한정되어 있었다. 우리는 이론을 통계적 학습에 적용하여 훈련 오차와 (추가 조건 하에) 테스트 오차 모두에 대한 일반적인 보편성 결과를 도출한다. 특히, 랜덤 1층 신경망(랜덤 피처 모델)으로 생성된 벡터 $\boldsymbol{x}_i$와 2층 네트워크의 1차 테일러 근사(뉴럴 탄젠트 모델)에 대한 보편성을 확립한다. 마지막으로, 검증하기 쉬운 조건 하에서 통계적 학습 문제의 한 클래스에 대해 비국소화 특성이 성립함을 증명한다.
고차원 희소 복원(sparse recovery)에서 ℓ∞ 오차 보장과 변수 선택(variable selection)의 통계·계산 복잡도를 분석하고, oblivious(for each) 모델에서는 약 k log d 샘플로 거의 선형 시간에 최적 ℓ∞ 오차를 달성할 수 있지만 adaptive(for all) 모델에서는 동일한 수준을 위해 약 k² 샘플이 필요함을 증명해 ℓ2 설정과 대비된다. 부분적 적응(partially-adaptive) 모델에서는 약 k log d 측정으로도 의미 있는 변수 선택 보장이 가능함을 보였다.
고차원 축소(shrinkage)에서 공통 가우시안 스케일의 기본 사전을 분산에 평탄하게 두는 것과 표준편차(SD)에 평탄하게 두는 것은 영 근처 질량 배분과 고차원 구 기하학 때문에 서로 다른 위험 특성을 만든다. radial-power 벤치마크에서 SD-평탄 기본값은 약신호에서 1단위 점근적 이득을 주고 임계 구간에서는 우위가 바뀔 수 있으며 강신호에서는 분산-평탄과 2차까지 동등하고, 단일 전역 스케일 초사전과 유계 좌표 승수 혼합에도 SD 밀도의 영 근처 지수를 통해 같은 한계가 전달된다.
분산 환경의 고차원 데이터에 대해 Newton형 변환으로 분위수 회귀를 일반 최소제곱 문제로 바꾼 뒤, 차등 프라이버시(differential privacy) 반복 추정, 디바이어스(debiased) 추정량, 통신 효율적 부트스트랩을 결합한 분위수 회귀 추정·추론 프레임워크를 제안한다. 시뮬레이션과 실제 데이터 분석에서 거의 최적에 가까운 통계적 정확도와 형식적인 프라이버시 보장을 유지하면서 견고성과 효과가 확인되었다.
본 연구는 스트리밍 데이터를 활용하는 고차원 일반화 선형 모델의 온라인 추정을 다룹니다. 먼저, 비분산(non-distributed) 설정에서 과거 요약 정보만을 사용하여 누적 손실을 근사하는 그래디언트 강화 대리 손실(surrogate loss)을 제안합니다. 이는 고차원 설정에서 동일한 모델에 대한 기존 renewable 추정 접근법을 수정 및 개선한 것으로, 이전 연구들의 배치 수 제약을 제거합니다. 이어서 배치가 사이트별로 분할되고 요약 정보(그래디언트 벡터)만 교환되는 마스터-클라이언트 아키텍처 하에서 분산 스트리밍 데이터로 이 방법을 확장합니다. 대리 이차 손실에 Jordan et al. (2019)의 널리 사용되는 방법을 직접 적용하는 대신, 수정된 접근법은 클라이언트가 전체 대리 손실을 계산할 필요가 없습니다. 이전 연구의 배치 수에 대한 엄격한 제약 없이 고차원 스케일링 조건 하에서 비점근적 오차 한계를 도출합니다. 선형 및 로지스틱 모델에 대한 시뮬레이션 결과와 실제 데이터 적용 사례는 기존 renewable 추정기 대비 향상된 정확도를 보여줍니다.
상호 정보(MI)는 변수 간 통계적 의존성을 정량화하며 여러 과학 분야에서 널리 사용되지만, 유한한 데이터로부터의 정확한 추정은 여전히 악명 높을 정도로 어렵다. 일반적인 접근법은 현대 실험에서 흔한 고차원·과소표본 영역($N \lesssim K$)에서 실패하며, 신경망 기반 추정기가 실패하는 시점을 검출하는 데 허용된 검정은 존재하지 않아 이를 과학적 도구로 사실상 사용할 수 없게 만든다. 우리는 통계적 의존성이 저차원 잠재 표현을 허용할 때 신경망 MI 추정기를 신뢰할 수 있게 만들 수 있음을 보인다. 이때 표본 복잡도(sample complexity)는 주변 차원이 아니라 잠재 차원 $K_Z \ll K$에 의해 지배되며, 이는 우리가 실험적으로 확인하고 랜덤 행렬 이론(random matrix theory)을 통해 이론적으로 근거를 마련한 영역 전환이다. 이 통찰에 기반하여, 우리는 신경망 추정기에 명시적 통계적 일관성 검사, 바이어스 보정, 신뢰 구간을 제공하는 실용적 프로토콜을 개발한다. 또한 우리는 표준 추정기가 무너지는 더 높은 MI 값에서 바이어스와 분산을 실질적으로 줄이는 새로운 확률적 critic(VSIB 계열)을 도입한다. 우리는 $K=500$, $N$이 256까지 낮은 합성 벤치마크, Czyz et al. (2023)의 표준 40-데이터셋 벤치마크 스위트, ResNet-20 백본을 사용한 noisy MNIST ($K=784$) 및 CIFAR-10/100 ($K=3072$)에서 이 프로토콜을 검증한다. 우리 프로토콜은 신뢰 구간을 보고하고 신뢰할 수 없는 추정치를 표시하는 유일한 접근법이면서 기존 방법과 지속적으로 동등하거나 그 이상의 성능을 달성하며, 실제 이미지에서 주변 픽셀 차원 훨씬 아래에서도 신뢰할 수 있는 MI 검출을 달성한다.