우리는 고정된 설계(design)에서 일반적인 고정 크기 부피 샘플링(volume sampling) 후 비가중 최소제곱법(unweighted least squares)이 날카로운 계수-공분산 상한(ceiling)에 도달하는 경우를 분류한다. 코루프(coloop)가 없는 실수 백색화(whitened) 설계와 고정된 양의 손실 잔차(residual)에 대해, 접촉 공간(contact space)은 모든 strict-interior 샘플 크기에서 변하지 않는다. 그 가능한 0이 아닌 값들은 유한한 직교(orthogonal) 패밀리를 이룬다: 정규화된 네이마크 보완(Naimark-complement) 행들의 각 극대 평행 클래스(maximal parallel class)는 클래스 크기보다 1 작은 차원의 삭제 영공간(deletion nullspace)을 결정한다. 단일 잔차가 전체 쿼리(query)에 도달하는 것은 정확히 쿼리 범위(range)가 하나의 클래스 공간 안에 놓일 때이다. 증명은 지지된(supported) 생략 모멘트(omission moment)와 역삭제(reverse deletion)를 사용하여, 모든 정규화된 공분산 결핍을 명시적인 leave-one-out 연산자와 양방향 뢰브너(Loewner) 비교하는 것에서 시작한다. 잔차 증강(residual augmentation)은 리졸벤트(resolvent)와 2차 모멘트 상한을 제공하며, 보완 기하학(complement geometry)은 쿼리별 마진, 각도 집중(angular concentration), 지역 정렬(local alignment), 그리고 다중 출력 에너지 장애물(multi-output energy obstruction)을 산출한다. 정확한(exact) 패밀리들은 닫힌 형태(closed-form)의 마진과 공분산을 제공하고, 지지 경계 점프(support-boundary jump)를 보이며, 균일하게 양의 기하학적 마진에도 불구하고 상한에 근접한다. 마지막으로, 동일한 모멘트 항등식은 기대 고정 쿼리 제곱 손실 초과분에 대한 상한과 하한을 제공한다. 부분집합 추출(subset draw)만이 유일한 무작위성이며, 모든 지지(support) 및 끝점(endpoint) 제약은 명시적이다.
모델 병합(model merging)은 개별 모델들을 저렴한 비용으로 결합하여 각 모델의 능력을 이어받는 모델을 생성하는 방법을 제공합니다. 일부 병합 방식은 다중 작업 학습(multitask training)의 성능에 근접할 수 있지만, 대개 휴리스틱에 기반을 두고 있어 이론적 정당성이 부족합니다. 이에 대한 원칙적인 대안은 모델 병합을 작업 간 간섭(interference)을 직접 최소화하는 층별 최적화 문제로 정의하는 것입니다. 그러나 이러한 정식화는 데이터로부터 층별 공분산 행렬(covariance matrix)을 추정해야 하므로, 병합 수행 시 데이터를 사용할 수 없는 상황에서는 한계가 있습니다. 반면, 휴리스틱 기반 방식의 다수는 보조 데이터를 필요로 하지 않아 실용적인 이점을 지닙니다. 본 연구에서는 간섭 최소화 프레임워크를 재검토하여, 특정 조건 하에서 공분산 행렬을 차이 행렬(difference matrix)로부터 직접 추정할 수 있음을 보입니다. 이를 통해 데이터를 필요로 하지 않으면서도 계산 비용을 절감할 수 있습니다. 86M 파라미터부터 7B 파라미터에 이르는 비전 및 언어 벤치마크 전반에서 제안하는 접근 방식을 검증하였으며, 기존의 최고 수준(SOTA) 데이터 프리 병합 방식들을 능가하는 성능을 보였습니다.
중심화된 가우시안의 표본 공분산 오차를 연구한다. 주목할 만한 돌파구 [66]는 올바른 오차 스케일링 차수를 확립하고, 유효 rank와 실제 공분산 스펙트럼 모두의 중요한 역할을 명시적으로 밝혔다. 본 연구에서는 스케일링 특성화를 넘어 오차의 스펙트럼 노름의 정밀한 극한값을 결정한다. 이를 위해 Random Duality Theory(RDT)에 기반한 일반적 프레임워크를 개발한다. 이 프레임워크 안에서 먼저 폐형의 명시적 RDT 기반 상한을 구하고, 새로운 쌍선형-이차 RDT 하한 메커니즘을 도입하여 상호 보완적인 하한을 확립한다. 이 메커니즘을 two-replica systems 경계 전략과 결합함으로써, 고차원 맥락에서 우리의 하한과 상한이 일치함을 보인다. 이론적 결과는 수치 평가와 시뮬레이션으로 보강되며, 수천 규모의 문제 크기에서 이미 탁월한 일치를 보여준다.
두 데이터셋의 공분산 구조 중 일부만 공유되는 상황을 모델링하는 부분 공유 부분공간(PSS, Partially Shared Subspace) 모델을 제안하며, 랜덤 행렬 이론을 활용해 공유 부분공간의 랭크와 위치를 결합 추정하고 최적 풀링 가중치를 폐쇄형으로 도출한다. 이 프레임워크는 고차원 설정에서 기존 대조적 차원 축소(CDR) 방법의 이론적 공백을 해소하며, COVID-19 팬데믹 기간 포트폴리오 구성과 뇌종양 유전자 발현 분석에 적용해 유효성을 검증한다.
공분산 추정 오차가 전역 최소분산 포트폴리오(GMVP) 성능 저하로 이어지는 정확한 메커니즘을 규명하여, GMVP regret이 p²차원 오차 행렬 중 (p-1)차원 부분공간에만 의존하는 의사결정 기하(decision geometry)를 증명한다. Heavy-tailed 수익률(tail index κ ∈ (2,4)) 환경에서 비점근적 regret 상계와 수렴률을 확립하고, 이를 통해 최근 의사결정 중심 학습(decision-focused learning) 연구에 부재했던 일관성 이론과 정확한 추정 기하를 제공한다.
양의 정부호 토플리츠 공분산의 과매개변수화된 Carathéodory 분해를 통해 가우시안 최대가능도 최적화 지형을 분석했으며, 고정 격자에서 진폭만 최적화하면 격자 불일치 시 오차 하한이 남지만 진폭과 주파수를 함께 최적화하면 모집단에서 양의 정부호 공분산을 내는 모든 정점이 참 토플리츠 공분산을 복원하는 온화한 지형임을 증명했다. 수치 실험에서 과매개변수화는 수렴 속도와 유한 표본 정확도를 높여 단순한 경사하강법이 Cramer-Rao bound에 접근할 수 있게 했다.
공분산 추정은 표현 학습, 차원 축소 및 의존성 모델링의 기반이 되는 근본적인 2차 통계량을 제공합니다. 공분산은 유클리드 공간에서는 잘 이해되어 왔지만, 형상, 대칭 양정정(SPD) 행렬 등을 포함하는 현대 머신러닝 응용 분야에서 점차 증가하는 비선형 리만 다양체에 존재하는 임의 객체에 대해서는 잘 정의되지 않습니다. 본 논문은 다양체 값 임의 객체를 위한 내재적 리만 교차 공분산을 소개합니다. 우리의 접근 방식은 평행 이동을 통해 국소적 변동을 공통 접공간으로 운반하여 공분산과 상관관계를 정의하며, 이를 통해 임의의 좌표 선택과 무관한 2차 기술자를 산출합니다. 우리는 제안된 공분산이 유클리드 공간의 대응 개체가 가진 바람직한 속성을 계승하며, 그 점근적 거동을 특성화함을 입증합니다. 구와 SPD 다양체에 대한 수치 연구와 켄달 형상 공간(Kendall's shape space)에서의 심장 판막 형상에 대한 실제 데이터 실험을 통해, 우리의 추정기의 효과성을 입증하고 언급된 속성을 검증합니다. 우리의 결과는 리만 공분산을 비유클리드 표현 공간에서의 2차 학습 및 분석을 위한 근본적인 도구로 자리매김합니다.
우리는 고차원 공분산 추정량의 고전적 축소(classical shrinkage)를 소스(source)와 타겟(target) 분포 사이의 모수적 확률적 보간(parametric stochastic interpolant)에 대한 경험적 위험 최소화(empirical risk minimization)로 재구성합니다. 이 형식화는 알려진 축소 추정량을 특수한 사례로 회복하며, 통계적 위험(statistical risk)을 줄이는 세 가지 명확한 메커니즘을 보여줍니다: (i) 스케줄링(scheduling): 보간 스케줄은 허용 가능한 공분산의 클래스를 결정하며, 이에 따라 달성 가능한 위험을 결정합니다. (ii) 플로우 맵(flow maps)과 결합(couplings): 단순한 구성은 분포 간의 독립성을 가정하는 것에 불과하지만, 특정 결합 구조(예: 최적 전송(optimal transport) 문제의 해)는 경험적 위험을 낮출 수 있습니다. 더욱이, 이러한 결합을 실현하는 비선형 플로우 맵은 보간 공분산을 경험적 추정치의 고유벡터 기저(eigenbasis)로부터 분리시켜, 고유벡터 정규화(eigenvector regularization)를 가능하게 합니다. (iii) 조기 종료: 회귀된 벡터 필드(regressed vector field)를 적분하여 정의된 추정량은 실제 보간 분포의 근사를 통해 추가적인 바이어스-분산 트레이드오프(bias-variance trade-off)를 제공합니다. 그 후, 우리는 보간에 대한 신경망 추정기(neural estimator)를 제안하고, 보간 근사 오차(interpolant approximation error)에 관한 2차 위험(quadratic risk)의 상한을 함께 제시하며, 합성 실험(synthetic experiments)을 통해 이를 검증합니다. 마지막으로, 추정기를 실제 뇌영상 데이터(neuroimaging data)에 적용하여, 이 접근법이 실제로 제공하는 추가적인 정규화(regularization) 성능을 입증합니다.