일반화된 커널을 사용한 t-분포 확률적 이웃 임베딩(t-SNE)의 평형 분포
Equilibrium Distribution for t-Distributed Stochastic Neighbor Embedding with Generalized Kernels
한국어 초록
본 논문은 입력 커널(kernel)과 출력 커널의 특정 클래스를 사용하는 t-분포 확률적 이웃 임베딩(t-SNE)에 대한 대규모 샘플(large-sample) 변분 문제(variational problem)를 연구한다. 입력 분포(law)는 콤팩트 지지집합(compact support)을 가지며, 그 지지집합 위에서 연속인 밀도를 갖는다. 엔트로피 방정식(entropy equation)이 입력 커널의 척도 매개변수(scale parameter)를 결정하며, 우리는 밀도가 양수인 내부점에서 이 매개변수가 존재하고 유일함을 증명한다. 이어서 해(solution)가 존재하고 전체 지지집합에서 균등하게 유계(uniformly bounded)가 되기 위한 충분조건을 제시한다. 이러한 조건들과 출력 커널에 대한 감쇠(decay) 가정 하에서, 이산 최적값(discrete optimal values)은 연속체 최솟값(continuum minimum)으로 수렴한다. 근사 최소화자(approximate minimizers)의 경험적 측도(empirical measure)는 평행이동(translation) 후 조밀(tight)하며, 모든 부분수열 극한(subsequential limit)은 평형 방정식(equilibrium equation)을 만족하는 콤팩트 지지 최소화자(compactly supported minimizer)이다. 허용 가능한 출력 커널에는 가우시안 커널(Gaussian kernel)이 포함되며, 출력 차원이 2일 때는 코시 커널(Cauchy kernel)도 포함된다. 수치 예제(numerical examples)를 통해 서로 다른 커널로 얻은 2차원 표현(representation)들을 비교한다.
원문 초록
We study the large-sample variational problem for t-distributed stochastic neighbor embedding with a class of input and output kernels. The input law has compact support and a density continuous on that support. An entropy equation determines the scale parameter in the input kernel, and we prove that this parameter exists and is unique at interior points of positive density. We then give sufficient conditions for solutions to exist and be uniformly bounded on the entire support. Under these conditions and a decay assumption on the output kernel, the discrete optimal values converge to a continuum minimum. Empirical measures of approximate minimizers are tight after translation; every subsequential limit is a compactly supported minimizer satisfying the equilibrium equation. The admissible output kernels include Gaussian kernels and, in output dimension two, the Cauchy kernel. Numerical examples compare the two-dimensional representations obtained with different kernels.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
군집화 후 임베딩: 시각화를 위한 모듈식 접근법
Cluster and then Embed: A Modular Approach for Visualization
t-SNE와 UMAP 같은 차원 축소 방법은 잠재적인 군집 구조를 가진 데이터를 시각화하는 데 널리 사용된다. 이 방법들은 데이터 포인트를 임베딩하는 동시에 군집화하는 것으로 알려져 있으며, 국소 정보를 잘 보존하면서 군집이 명확하게 분리된 시각화 결과를 생성한다. 그러나 t-SNE와 UMAP은 기저 데이터의 전역적 기하 구조를 왜곡하는 경향도 있다. 우리는 먼저 데이터를 군집화하고, 각 군집을 임베딩한 후, 마지막으로 군집들을 정렬하여 전역 임베딩을 얻는 보다 투명한 모듈식 접근법을 제안한다. 여러 합성 및 실제 데이터셋에서 이 접근법을 시연하고, 기존 방법들과 경쟁력 있는 성능을 보이면서도 훨씬 더 투명함을 보인다.
에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더
Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective
심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.
ALPCAHUS: 이분산성 데이터를 위한 부분공간 군집화
ALPCAHUS: Subspace Clustering for Heteroscedastic Data
주성분 분석(PCA)은 데이터 차원 축소 분야의 핵심 도구입니다. K-서브스페이스(KSS)와 같이 여러 부분공간에서 파생된 데이터를 군집화하기 위해, PCA를 부분공간 합집합(UoS) 설정으로 확장하는 다양한 방법들이 제안되어 왔습니다. 그러나 일부 응용 분야에서는 각 데이터 샘플과 관련된 노이즈 특성으로 인해 품질이 달라지는 이종(heterogeneous) 데이터를 다룹니다. 이분산성(heteroscedastic) 방법은 이러한 혼합된 데이터 품질을 처리하는 것을 목표로 합니다. 본 논문에서는 샘플별 노이즈 분산을 추정하고 이 정보를 활용하여 데이터의 저차원(low-rank) 구조와 관련된 부분공간 기저(subspace bases) 추정을 개선할 수 있는, ALPCAHUS라는 이분산성 기반 부분공간 군집화(subspace clustering) 방법을 개발합니다. 이 군집화 알고리즘은 UoS 설정에서 이분산성 노이즈를 갖는 군집을 위해 최근 제안된 이분산성 PCA 방법인 LR-ALPCAH를 확장함으로써 K-서브스페이스(KSS) 원리를 기반으로 구축됩니다. 시뮬레이션 및 실제 데이터 실험을 통해 기존 군집화 알고리즘 대비 데이터의 이분산성을 고려하는 것의 효과성을 입증합니다. 코드는 https://github.com/javiersc1/ALPCAHUS 에서 이용 가능합니다.
분포 외 탐지를 위한 커널 PCA: 비선형 커널 선택 및 근사
Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selection and Approximation
분포 외(Out-of-Distribution, OoD) 탐지는 심층 신경망의 신뢰성에 필수적이며, 그 핵심은 OoD 데이터와 분포 내(In-Distribution, InD) 데이터 간의 차이를 효과적으로 특성화하는 데 있다. 본 연구에서는 이러한 차이를 비선형 특징 부분공간이라는 새로운 관점을 통해 활용한다. 즉, InD 특징으로부터 판별적 비선형 부분공간을 학습하여 InD의 대표적 패턴을 포착하는 한편, OoD 특징에 담긴 정보적 패턴은 서로 다른 분포로 인해 이러한 부분공간에서 잘 포착되지 못한다. 이 관점에 기반하여, InD와 OoD 특징이 비선형 부분공간에서 보이는 편차를 OoD 탐지에 활용한다. 구체적으로, 커널 주성분 분석(Kernel Principal Component Analysis, KPCA) 프레임워크를 활용하여 판별적 비선형 부분공간을 얻고, 해당 부분공간에서의 재구성 오차를 이용해 InD와 OoD 데이터를 구별한다. 두 가지 과제가 제기된다: (i) 효과적인 비선형 부분공간의 학습, 즉 KPCA에서의 커널 함수 선택, 및 (ii) 대규모 InD 데이터에 대한 커널 행렬 계산. 전자에 대해, InD-OoD 차이와 밀접하게 관련된 두 가지 중요한 비선형 패턴을 밝히고, 이를 바탕으로 부분공간 구성을 위한 코사인-가우시안 커널을 수립한다. 후자에 대해, 코사인-가우시안 커널을 현저히 저렴한 계산으로 근사하는 두 가지 기법을 도입한다. 특히, 우리의 근사는 InD 데이터 신뢰도를 통합하여 추가로 맞춤화되며, 이는 OoD 데이터에 대한 판별적 부분공간 학습을 촉진하는 것으로 입증된다. 본 연구는 OoD 탐지를 위한 비선형 특징 부분공간에 대한 새로운 통찰을 제시하고, 관련 커널 설계 및 효율적 계산에 대한 실용적 탐구를 기여하며, 뚜렷이 향상된 효과와 효율성을 갖는 KPCA 탐지 방법을 제공한다.
혼돈 시계열 예측을 위한 텐서 네트워크 접근법
A tensor network approach for chaotic time series prediction
혼돈 시계열(chaotic time series)을 정확하게 예측하는 것은 복잡한 도전 과제입니다. 뉴로모픽(neuromorphic)에서 영감을 받은 접근법인 리저버 컴퓨팅(reservoir computing)은 이 작업을 위한 강력한 도구로 등장했습니다. 이는 광범위한 매개변수 튜닝 없이 동적 시스템(dynamical systems)의 메모리와 비선형성을 활용합니다. 그러나 리저버 아키텍처(reservoir architecture)를 선택하고 최적화하는 것은 여전히 미해결 문제입니다. 차세대 리저버 컴퓨팅(Next-generation reservoir computing)은 절단된 볼테라 급수(truncated Volterra series)에 기반한 비선형 벡터 자기회귀(nonlinear vector autoregression)를 사용하여 이 문제를 단순화함으로써 하이퍼파라미터 복잡성을 줄입니다. 그럼에도 불구하고 후자는 최대 단항식 차수(maximum monomial degree)에 따라 매개변수의 지수적 성장 문제를 겪습니다. 텐서 네트워크(tensor network)는 다차원 배열을 저차원 구조로 분해하여 차원의 저주(curse of dimensionality)를 완화함으로써 이 문제에 대한 유망한 해결책을 제공합니다. 본 논문은 혼돈 시계열 예측을 위해 기존에 제안된 텐서 네트워크 모델의 적용을 탐구하고, 기존 에코 상태 네트워크(echo state networks)와 비교하여 정확도와 계산 효율성 측면에서의 장점을 입증합니다. 최첨단(state-of-the-art) 텐서 네트워크 접근법을 활용함으로써 텐서 네트워크와 리저버 컴퓨팅 연구 커뮤니티 간의 격차를 해소하고, 두 분야의 발전을 촉진할 수 있습니다.
Active Learning for Manifold Gaussian Process Regression
토론
이 논문과 연결된 포럼 글이 아직 없습니다.