스펙트럴 방법은 커뮤니티 탐지, 클러스터링, 그래프 학습에서 가장 널리 사용되는 기법 중 하나이다. 그러나 그 성능은 근본적인 스펙트럴 부분공간의 정확한 추정에 크게 의존하며, 노이즈, 이상치, 또는 모델 교란이 존재할 경우 상당히 악화될 수 있다. 이 한계를 해결하기 위해, 우리는 rank-$K$ 투영 행렬의 강건한 추정을 위한 정규화 투영 행렬 근사(Regularized Projection Matrix Approximation, RPMA) 프레임워크를 제안한다. RPMA는 정규화 항을 통합하여 고전적인 스펙트럴 투영을 확장하며, 더 강건하고 희소하며 해석 가능한 투영 추정치를 생성한다. 우리는 제안된 모델을 rank-$K$ 투영 행렬의 다양체 상의 최적화 문제로 공식화하고, Grassmann 다양체와의 기하학적 동등성을 활용한다. 이 다양체 특성화를 바탕으로, 1차 및 2차 최적성 조건을 유도하고, 정규화된 선행 고유공간의 국소 안정성을 확립하며, 충분히 작은 정규화 하에서 임계점 경관의 안정성을 특성화한다. 결과적인 비볼록 최적화 문제를 효율적으로 풀기 위해, 역추적 선 탐색(backtracking line search)을 갖춘 Riemann 그래디언트 투영 알고리즘과, 반복적인 고유값 분해를 피하는 보다 효율적인 Cayley--Sherman--Morrison--Woodbury(Cayley--SMW) 그래디언트 방법을 개발한다. 합성 및 실제 데이터셋에 대한 광범위한 실험은 RPMA가 투영 행렬의 복원 정확도를 크게 향상시키며, 노이즈가 있는 환경에서 커뮤니티 탐지 및 클러스터링을 위한 기존 스펙트럴 투영 방법보다 일관되게 우수한 성능을 보임을 입증한다.
낮은 차원 문제($d\leq3$)에서는 스펙트럴 방법이 매우 높은 정확도를 달성할 수 있다. 중간 차원 문제($4 \leq d \lesssim 10$)에서는 sparse grid나 hyperbolic cross와 같은 특정 기법을 통해 스펙트럴 방법이 여전히 실현 가능하다. 그러나 고차원 문제($d\gg 10$)에서는 스펙트럴 방법이 차원의 저주로 인해 어려움을 겪는다. 물리 정보 신경망(PINN)은 이러한 한계를 극복하는 유망한 접근법으로 등장했으며 고차원으로의 확장성을 제공하지만, 종종 정확도와 효율성이 제한된다. 최근 제안된 스펙트럴 정보 신경망(SINN)은 스펙트럴 방법과 PINN을 결합하여 스펙트럴 영역에서 직접 동작함으로써 공간 도함수 계산을 피하고 메모리 소비를 줄인다. 본 연구에서는 조화 분석(harmonic analysis)에서 영감을 받은 계수 감쇠 스케일링과 basis embedding을 통합한 Modified SINN을 도입하여, 고차원 문제에서의 정확도를 향상시키고 알려지지 않은 스펙트럴 계수의 정확한 근사를 가능하게 한다. 정상 상태 및 시간 의존 편미분방정식(PDE)에 대한 수치 실험 결과, Modified SINN은 불완전한 스펙트럴 정보를 갖는 중간 차원 문제에서 sparse grid 스펙트럴 방법을 능가하며, 고차원 문제에서는 PINN보다 우수한 정확도를 달성한다.
Identifying heterogeneous treatment effects under unobserved confounding is central in observational causal inference. In proxy models with a discrete latent confounder, prior Synthetic Potential Outcomes (SPO) [Mazaheri-Squires-Uhler '25] recover the mixture of treatment effects through recursively constructed scalar moments. We show that this sequence is one projection of a more fundamental object. Under the same population factorization assumptions, there is an exact compressed observable operator: after projecting onto the shared proxy signal subspace, the difference of two treatment-arm quotient operators is similar to the diagonal matrix of latent treatment effects. Its eigenvalues are the latent effects; its lifted left eigenvectors, after anchor normalization, recover the target-proxy feature matrix and then the latent mixture proportions. Every scalar SPO moment is a bilinear functional of a power of this operator. The resulting estimator handles overcomplete proxy systems, replaces high-order scalar inversion with finite-dimensional spectral analysis, and admits high-probability first-order perturbation bounds for treatment effects, feature rows, and simplex-projected mixture weights.
고정된 커널이나 그래프 라플라시안에 의존하는 기존 스펙트럴 방법의 한계를 극복하기 위해, PIEFS는 학습 가능한 메트릭 $A(x)=\Lambda(x)U(x)$로 변환된 수정 디리클레 에너지(Dirichlet energy)를 기반으로 태스크 적응형 직교 좌표 맵을 순차적으로 학습하는 지도 학습 신경 표현 학습 프레임워크를 제안한다. 합성·표 형식·이미지 벤치마크 실험에서 PIEFS는 NeuralEF 등 고전적 기준선과 비교해 간결한 스펙트럴 표현 방법으로서의 유효성을 보였으며, 최적화 안정성과 더 풍부한 메트릭 매개변수화가 향후 과제로 제시되었다.
강화학습 사후학습(RL post-training)의 추론 효과적 성분이 기반 모델의 스펙트럴 공간에 집중되어 있다는 관찰을 바탕으로, SAR(Subspace-Aligned Rewiring)은 전체 파라미터 업데이트를 기반 모델의 SVD 부분공간에 사영하여 전체 파라미터의 약 0.58%만으로 사후학습 성능의 99% 이상을 보존하는 간결한 추론 핵심을 추출한다. 이 방법은 학습 없이(training-free) 적용 가능하며, 수학적 추론의 탐험(exploration) 개선, 혼합 도메인 학습에서의 간섭 제거, 전문가 모델 병합 시 단일 도메인 전문가 모델을 능가하는 교차 도메인 일반화를 동시에 달성한다.
고전적인 범용 근사 정리는 시그모이드 다층 퍼셉트론의 표현력을 확립하지만, 초기 가중치가 데이터 분포의 기하를 어떻게 인코딩해야 하는지는 규정하지 않는다. 우리는 단일 은닉층 시그모이드 MLP를 위한 스펙트럴 기하 인식 초기화 프레임워크인 S-GAI를 제안한다. 시그모이드 유닛이 부드러운 반공간(half-space) 게이트로 작동할 수 있다는 구성적 아이디어에서 출발하여, 수작업으로 지정된 평면 기하에서 이미지 데이터로부터 추정된 클래스별 스펙트럴 기하로 나아간다. 각 클래스에 대해 SVD는 평균, 주요 방향, 그리고 스펙트럴 스케일을 제공한다. 에너지 임계값이 유지할 방향을 선택하며, 유지된 각 방향은 두 개의 시그모이드 게이트로 표현된다. 이러한 클래스별 게이트는 학습 세트로부터 직접 초기화된 공유 은닉층을 구성한다. 또한 SVD 기반 부분공간 분류기를 비신경망 기하 참조로 공식화하여, 추정된 스펙트럴 클래스 기하가 MLP에 임베딩되기 전에 이미 판별력을 갖는지 검증한다. MNIST, Fashion-MNIST, 그리고 더 어려운 CIFAR-10 실험 결과, S-GAI로 초기화된 MLP는 Xavier 초기화보다 훨씬 더 정보량이 많은 은닉 상태에서 시작하며, 완전 학습 시 비교 가능한 최종 정확도에 도달함을 보인다. 은닉층을 고정한 상태에서 출력층만 학습하더라도 고정된 무작위 게이트보다 더 높은 성능을 달성하며, 이는 S-GAI가 클래스별 스펙트럴 기하를 MLP에 효과적으로 임베딩함을 입증한다.
비정상(non-stationary) 편미분방정식(PDE)은 과학적 계산 전반에 걸쳐 나타나며, 지배적인 주파수 성분과 에너지 분포가 시간에 따라 변화할 수 있다. 많은 스펙트럼 신경 연산자들이 PDE 풀이에 효율적이지만, 롤아웃 단계 전반에 걸쳐 공유된 스펙트럼 응답을 적용함으로써 비정상 시스템의 시변 스펙트럼과 불일치가 발생한다. 이 문제를 해결하기 위해, 우리는 스펙트럼 블록 내부에 학습 가능한 시간-주파수 게이팅을 갖춘 상태 적응형 프레임워크인 시간-주파수 게이팅 스펙트럼 신경 연산자(TF-SNO)를 제안한다. TF-SNO는 현재 상태로부터 압축된 주파수 도메인 및 물리 공간 통계를 추출하여 변조 계수를 생성함으로써, 스펙트럼 응답이 동역학과 함께 진화할 수 있도록 한다. TF-SNO는 명시적인 시간 차원이나 시간 임베딩을 도입하지 않고 진화하는 상태로부터 시간적 변화를 암묵적으로 학습하여 모델링 복잡도를 낮게 유지한다. 또한 적응형 연산자 블록을 임베딩하여 다중 스케일 특징을 정확히 포착함으로써 장기 롤아웃 안정성을 향상시킨다. 1D 및 2D의 6개 비정상 PDE 벤치마크에 대한 실험에서 TF-SNO는 강력한 기준 모델들에 비해 예측 오차를 크게 줄이고 강건성을 향상시켰으며, 특히 장기 롤아웃에서 뚜렷한 성능 향상을 보였다. 이는 비정상 물리 시스템 모델링에서 상태 의존적 스펙트럼 적응의 효과를 입증한다.
LLM 잊기(unlearning)에서 유지-망각 트레이드오프를 줄이기 위해, 원래 파이프라인을 재실행하지 않고 최종 업데이트 벡터를 사후 정제하는 SAGE(Spectral Activation-GEometry Sanitization)를 제안한다. 작은 유지 프록시(retain proxy)의 활성화 기하학을 이용해 닫힌 형식(closed form)으로 고에너지 유지 방향 성분을 억제하면서 망각 신호는 보존하며, TOFU·MUSE·WMDP 등에서 유지 성능을 높이고 유틸리티와 프라이버시 누출도 개선한다.
스펙트럼 방법은 무작위 섭동 하에서 주요 고유공간의 안정성에 근본적으로 의존합니다. 전통적으로 이 안정성은 Davis-Kahan 및 Wedin 정리를 통해 정량화되며, 해당 정리들은 잡음의 연산자 노름(operator norm)과 관련 스펙트럼 간격(spectral gaps)을 사용하여 고유공간 오차를 제한합니다. 이러한 최악의 경우(worst-case) 바운드는 임의의 결정론적 섭동에 대해서는 날카로운(tight) 편이지만, 신호 기하학과 잡음 분포 간의 미세한 상호작용을 포착하지 못하므로 저계수 신호-플러스-무작위 잡음 설정에서는 비효율적일 수 있습니다. 본 논문에서는 임의의 불균일 분산 프로필(inhomogeneous variance profile)을 가진 희소 무작위 잡음으로 인해 오염된 신호-플러스-잡음 행렬의 스펙트럼 섭동을 연구합니다. 우리는 이질적 잡음 분산 하에서 경험적 고유벡터(empirical eigenvectors)가 고전적 섭동 바운드에서는 전혀 포착되지 않는 체계적이고 결정론적인 기하학적 바이어스(geometric bias)를 겪는다는 것을 보여줍니다. 이차 벡터 방정식(Quadratic Vector Equation, QVE)을 활용하고 정밀한 등방성 국소 법칙(isotropic local laws)을 확립함으로써, 연산자 노름(operator norm)과 $2\to\infty$ 노름에서 선행 고유공간에 대한 거의 최적의 비점근적 섭동 바운드를 도출합니다. 이 바운드는 일반적인 신호 대 잡음 기여, 확률적 변동, 그리고 신호 고유공간과 행 단위 분산 프로필(row-wise variance profile) 간의 정렬(alignment)에 의해 결정되는 구조화된 기하학적 바이어스 항들을 분리합니다.