Adaptive Metric Dimensionality Reduction
원문 초록
We study adaptive data-dependent dimensionality reduction in the context of supervised learning in general metric spaces. Our main statistical contribution is a generalization bound for Lipschitz functions in metric spaces that are doubling, or nearly doubling. On the algorithmic front, we describe an analogue of PCA for metric spaces: namely an efficient procedure that approximates the data's intrinsic dimension, which is often much lower than the ambient dimension. Our approach thus leverages the dual benefits of low dimensionality: (1) more efficient algorithms, e.g., for proximity search, and (2) more optimistic generalization bounds.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
표현 품질의 빠진 축으로서의 기하: 데이터 부족 상황에서의 변분 기하 정보 병목
Geometry as a Missing Axis of Representation Quality: The Variational Geometric Information Bottleneck under Data Scarcity
우리는 데이터가 부족한 학습에서 표현 품질의 명시적 구성 요소로서 잠재 기하를 연구한다. 인코더 (\phi)에 대해 (Q_{\beta,\gamma}(\phi)=I(\phi(X);Y)-\beta\mathcal C(\phi)-\gamma d_{\mathrm{int}}(\phi))를 정의하며, 이는 과제 관련 정보에 곡률과 내재적 잠재 차원에 대한 페널티를 결합한 것이다. 이에 따라 기하는 사후 진단에 그치지 않고 병목 기준의 일부가 된다. 매끄러운 다양체, 손실 전이, 추정량 집중에 관한 가정 아래에서, 내재 차원과 피복 복잡도가 명시적으로 들어가는 비점근적 저레이블 일반화 경계를 도출한다. 또한 정보-기하 프런티어를 규명하고 경험적 대리 목적함수의 일치성을 증명한다. 이 분석은 잠재 피복수, 손실 클래스 엔트로피, 균등 편차를 통해 인코더 기하를 학습과 연결한다. 우리는 이 이론을 변분 병목 학습에 곡률 및 차원 페널티를 추가한 \texttt{V-GIB}로 구현한다. 실제 저레이블 벤치마크에서 (1%)–(20%) 레이블 비율에 걸쳐 \texttt{V-GIB}를 ERM, VIB 및 절제 실험과 비교한다. 결과는 특히 FashionMNIST와 CIFAR-10을 비롯한 여러 영역에서 성능이 향상되고 기하적 복잡도가 감소함을 보여 주며, 동시에 보편적으로 우세한 고정 정칙화 항은 존재하지 않음을 확인한다.
등주부등식을 통한 이진 선형 분류의 향상된 일반화 경계
Improved generalization bounds for binary linear classification via isoperimetry
우리는 등주부등식 논증을 통해 이진 선형 분류 문제에서 균일 일반화 오차가 기댓값 주변에 집중되는 현상을 분석한다. 특히, 출력 레이블과 레이블 가중 입력 벡터의 결합 분포에 대한 Poincaré 부등식과 log-Sobolev 부등식을 확립하고, 이를 적용하여 집중 경계를 도출한다. 도출된 결과는 일반적인 비유계 경험적 과정(unbounded empirical process)으로부터 얻은 기존 경계와 로지스틱 회귀에 특화된 경계 모두를 개선한다. 점근 분석에서는 비례적 고차원 체제(proportionally high-dimensional regime)와 같은 매우 광범위한 설정에서 균일 일반화 오차가 기댓값으로 거의 확실하게 수렴함을 보인다. 이 수렴성을 활용하여 차원에 무관한 조건 하에서 균일 대수의 법칙(uniform law of large numbers)을 확립한다.
On the Dimension-Free Approximation of Deep Neural Networks for Symmetric Korobov Functions
에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더
Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective
심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.
ALPCAHUS: 이분산성 데이터를 위한 부분공간 군집화
ALPCAHUS: Subspace Clustering for Heteroscedastic Data
주성분 분석(PCA)은 데이터 차원 축소 분야의 핵심 도구입니다. K-서브스페이스(KSS)와 같이 여러 부분공간에서 파생된 데이터를 군집화하기 위해, PCA를 부분공간 합집합(UoS) 설정으로 확장하는 다양한 방법들이 제안되어 왔습니다. 그러나 일부 응용 분야에서는 각 데이터 샘플과 관련된 노이즈 특성으로 인해 품질이 달라지는 이종(heterogeneous) 데이터를 다룹니다. 이분산성(heteroscedastic) 방법은 이러한 혼합된 데이터 품질을 처리하는 것을 목표로 합니다. 본 논문에서는 샘플별 노이즈 분산을 추정하고 이 정보를 활용하여 데이터의 저차원(low-rank) 구조와 관련된 부분공간 기저(subspace bases) 추정을 개선할 수 있는, ALPCAHUS라는 이분산성 기반 부분공간 군집화(subspace clustering) 방법을 개발합니다. 이 군집화 알고리즘은 UoS 설정에서 이분산성 노이즈를 갖는 군집을 위해 최근 제안된 이분산성 PCA 방법인 LR-ALPCAH를 확장함으로써 K-서브스페이스(KSS) 원리를 기반으로 구축됩니다. 시뮬레이션 및 실제 데이터 실험을 통해 기존 군집화 알고리즘 대비 데이터의 이분산성을 고려하는 것의 효과성을 입증합니다. 코드는 https://github.com/javiersc1/ALPCAHUS 에서 이용 가능합니다.
혼돈 시계열 예측을 위한 텐서 네트워크 접근법
A tensor network approach for chaotic time series prediction
혼돈 시계열(chaotic time series)을 정확하게 예측하는 것은 복잡한 도전 과제입니다. 뉴로모픽(neuromorphic)에서 영감을 받은 접근법인 리저버 컴퓨팅(reservoir computing)은 이 작업을 위한 강력한 도구로 등장했습니다. 이는 광범위한 매개변수 튜닝 없이 동적 시스템(dynamical systems)의 메모리와 비선형성을 활용합니다. 그러나 리저버 아키텍처(reservoir architecture)를 선택하고 최적화하는 것은 여전히 미해결 문제입니다. 차세대 리저버 컴퓨팅(Next-generation reservoir computing)은 절단된 볼테라 급수(truncated Volterra series)에 기반한 비선형 벡터 자기회귀(nonlinear vector autoregression)를 사용하여 이 문제를 단순화함으로써 하이퍼파라미터 복잡성을 줄입니다. 그럼에도 불구하고 후자는 최대 단항식 차수(maximum monomial degree)에 따라 매개변수의 지수적 성장 문제를 겪습니다. 텐서 네트워크(tensor network)는 다차원 배열을 저차원 구조로 분해하여 차원의 저주(curse of dimensionality)를 완화함으로써 이 문제에 대한 유망한 해결책을 제공합니다. 본 논문은 혼돈 시계열 예측을 위해 기존에 제안된 텐서 네트워크 모델의 적용을 탐구하고, 기존 에코 상태 네트워크(echo state networks)와 비교하여 정확도와 계산 효율성 측면에서의 장점을 입증합니다. 최첨단(state-of-the-art) 텐서 네트워크 접근법을 활용함으로써 텐서 네트워크와 리저버 컴퓨팅 연구 커뮤니티 간의 격차를 해소하고, 두 분야의 발전을 촉진할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.