주성분 분석(PCA)은 여러 응용 분야에서 데이터의 차원을 축소하기 위한 기초적인 도구입니다. PCA는 표본 공분산 행렬의 고유벡터를 계산하여 데이터 변동성의 대부분을 포함하는 소수의 신호 방향을 찾습니다. 본 연구에서는 데이터 벡터가 소수의 직교 신호와 등방성 가우시안 노이즈의 합으로 정의되는 스파이크 공분산 모델(spiked covariance model)에 초점을 맞추며, 우리의 목표는 하나 이상의 주요 신호를 추정하는 것입니다. 본 연구의 주요 이론적 발견은 개별 고유벡터가 모집단 주성분으로 수렴하기 훨씬 전에 표본 공분산 행렬의 여러 주요 고유벡터로 생성된 부분공간(subspace)이 원하는 신호에 대한 유의미한 정보를 포함한다는 점입니다. 이를 증명하기 위해, 특이벡터에 대한 섭동 이론(perturbation theory)을 활용하여 원하는 모집단 신호로 생성된 부분공간과 표본으로부터 얻은 부분공간 사이 각도에 대한 사후 경계(a posteriori bounds)를 유도합니다. 이를 바탕으로 새로운 알고리즘인 SuperPCA(SUbsPace subsamplER PCA)를 제안하며, 이 알고리즘은 표본 공분산 행렬의 근사 고유공간을 활용하여 고차원 및 다중 신호 환경에서 고전적 PCA보다 훨씬 더 효율적이고 정확하게 주요 신호를 찾습니다. SuperPCA는 데이터의 서브샘플링된 소수의 좌표만을 활용하므로, 특히 신호가 대략적으로 희소(sparse)할 때 데이터 수집 비용을 크게 절감할 수 있습니다. 동일한 측정 횟수에서 SuperPCA는 고전적 PCA 방식에 비해 정확도를 10배($10$) 향상할 수 있습니다.
다변량 데이터는 종종 등방성 잔차 노이즈 가정을 위반하는 복잡한 종속성을 보인다. 이러한 경우를 위해 우리는 그래프 정규화 PCA(GR-PCA)를 제안한다. GR-PCA는 희소 정밀도 그래프를 학습하고, 해당 그래프 라플라시안의 저주파 푸리에 모드 쪽으로 로딩을 편향시킴으로써 데이터 특징의 종속 구조를 반영하는 PCA의 그래프 기반 정규화 방법이다. 결과적으로 고주파 신호는 억제되고 그래프 일관적 저주파 신호는 보존되어, 조건부 관계와 정렬된 해석 가능한 주성분을 산출한다. 우리는 다양한 그래프 위상, 신호 대 잡음비, 희소성 수준을 아우르는 합성 데이터에서 GR-PCA를 평가한다. 주류 대안들과 비교할 때, GR-PCA는 의도된 지지 영역에 분산을 집중시키고, 더 낮은 그래프-라플라시안 에너지를 갖는 로딩을 생성하며, 표본 외 재구성에서도 경쟁력을 유지한다. 고주파 신호가 존재할 때 그래프 라플라시안 페널티는 과적합을 방지하여 재구성 정확도는 낮아지지만 구조적 충실도는 향상시킨다. PCA 대비 이점은 고주파 신호가 그래프 상관적일 때 가장 두드러지며, 그러한 신호가 거의 회전 불변에 가까울 때는 PCA가 여전히 경쟁력을 유지한다. 이 절차는 구현이 간단하고 정밀도 추정기에 대해 모듈식이며 확장 가능하여, 예측 성능을 희생하지 않으면서 구조적 충실도를 개선하는 구조 인식 차원 축소를 위한 실용적 경로를 제공한다.
심층 오토인코더에서 주성분 분석(PCA)의 직교성과 분산 순위 특성을 실현하기 어려운 문제를 해결하기 위해, ODIN(Orthogonal Dendritic Intrinsic Network)은 기하학적 제약 조건을 학습 목표에 직접 통합하고 수상돌기(dendritic) 구조를 통해 잠재 차원의 중요도 순서를 계층적으로 강제함으로써 완전 비선형 체계에서 PCA와 유사한 해석 가능한 잠재 공간을 비지도 방식으로 복원한다. 합성 및 실제 데이터셋 실험에서 직교하고 분산 기준으로 정렬된 잠재 표현을 달성함으로써 차원 축소와 특징 학습의 해석 가능성을 개선했다.
우리는 공분산 행렬의 $k$-행-열 희소성($k$-RCS) 조건 하에서, 연산자 노름 기반의 고차원 차분 프라이버시(DP) 공분산 추정과 주성분 분석(PCA)을 연구한다. 비프라이빗 환경에서는 $\mathsf{poly}(k, \log d)$개의 샘플로 두 문제를 모두 해결할 수 있음이 알려져 있다. 그러나 DP 하에서 이에 준하는 유일한 결과(Wang et al. 2021)는 표준적인 문제 매개변수화 조건 하에서 $Ω(d)$개의 샘플을 요구한다. 우리는 이러한 차원의 저주가 DP 하의 희소 공분산 추정 문제에서 본질적으로 내재된 것인지 규명한다. 상한 측면에서, 우리는 주고유벡터의 희소성도 가정할 경우 DP 하에서 PCA에 대한 $\mathsf{poly}(k, \log d)$ 샘플 복잡도가 가능함을 보인다. 이를 보완하여, 희소 공분산 추정과 PCA 모두에 대해 DP 하에서 $\mathsf{poly}(d)$ 하한을 제시하며, $k = \mathsf{polylog}(d)$일 때 이 두 문제의 프라이빗 변형과 비프라이빗 변형 사이에 지수적 격차가 존재함을 확립한다. 우리가 아는 한, 프라이빗 고차원 통계에서 희소 추정 문제에 대해 이러한 분리가 이전에 증명된 사례는 없다. 우리의 기법은 충분히 유연하여, 희소성 가정 없이도 잘 연구된 표준 DP PCA 문제에 대해 더 강한 하한을 도출한다.
우리는 대표적인 비지도 학습 문제인 주성분 분석(PCA)이라는 관점을 통해 어텐션 메커니즘을 연구합니다. 가우시안 데이터로 학습될 때, 소프트맥스(softmax) 및 선형 어텐션 레이어 모두 공분산 행렬의 주요 고유벡터와 정렬되는 파라미터를 학습함을 보여줍니다. 이를 통해 PCA와 직접적이고 명시적인 연결을 확립합니다. 본 분석은 유한 및 무한 프롬프트(prompt) 영역을 모두 포괄합니다. 무한 프롬프트 한계에서는 주요 스펙트럼 방향과 정렬된 전역 최적해로의 수렴을 증명하며, 유한 프롬프트 설정에서는 샘플링 효과를 고려할 때 동일한 동작이 나타남을 보여줍니다. 또한 분석을 스파이크드 위샤트(spiked Wishart) 공분산을 갖는 인컨텍스트(in-context) 설정으로 확장하며, 여기서 어텐션은 기저 신호 방향을 성공적으로 복원합니다. 이러한 결과는 어텐션이 비지도 목적 함수 하에서 본질적으로 PCA와 유사한 연산을 수행함을 입증하며, 표현 학습 능력에 대한 이론적 기반을 제공합니다.