arXiv:1710.07939

Elliptical modeling and pattern analysis for perturbation models and classfication

Shan Suthaharan, Weining Shen

제출 2017-10-22

원문 초록

The characteristics (or numerical patterns) of a feature vector in the transform domain of a perturbation model differ significantly from those of its corresponding feature vector in the input domain. These differences - caused by the perturbation techniques used for the transformation of feature patterns - degrade the performance of machine learning techniques in the transform domain. In this paper, we proposed a nonlinear parametric perturbation model that transforms the input feature patterns to a set of elliptical patterns, and studied the performance degradation issues associated with random forest classification technique using both the input and transform domain features. Compared with the linear transformation such as Principal Component Analysis (PCA), the proposed method requires less statistical assumptions and is highly suitable for the applications such as data privacy and security due to the difficulty of inverting the elliptical patterns from the transform domain to the input domain. In addition, we adopted a flexible block-wise dimensionality reduction step in the proposed method to accommodate the possible high-dimensional data in modern applications. We evaluated the empirical performance of the proposed method on a network intrusion data set and a biological data set, and compared the results with PCA in terms of classification performance and data privacy protection (measured by the blind source separation attack and signal interference ratio). Both results confirmed the superior performance of the proposed elliptical transformation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.29261v1cs.LG공통 태그 Dimensionality Reduction, blind source separation

비선형 혼합 모델 기반 부분공간 클러스터링

Nonlinear mixture model motivated subspace clustering

블라인드 소스 분리(BSS)에서 D차원 관측 벡터를 C개의 잠재 변수에 대한 미지의 다변수 비선형 매핑으로 표현하는 데 사용되는 비선형 혼합 모델(NMM)로부터, 부분공간 클러스터링(SC)을 위한 선형 부분공간 합집합(UoS) 모델을 도출한다. 매핑이 미지의 차수 K까지 미분 가능하다고 가정하면, NMM을 K차 테일러 전개로 근사할 수 있으며, 이는 SC의 기반이 되는 선형 UoS 프레임워크와 동등한 모델을 산출한다. 이를 통해 다음 사실들이 확립된다: (i) 평활도 차수 K는 미지의 부분공간 차원 d에 대응하고; (ii) KC는 앵커의 수와 같으며; (iii) 표현 벡터의 희소성은 K(즉, d)와 같다. 이러한 관계들은 부분공간 차원의 경계 추정을 가능하게 하며, 이는 다섯 가지 확립된 SC 알고리즘을 사용하여 여섯 개의 벤치마크 데이터셋에서 검증된다. 확립된 이론적 결과들은 SC 알고리즘에 의해 추정된 자기표현 행렬의 후처리에 중요한 의미를 갖는다.

arXiv:2602.02190v3stat.ML공통 태그 Dimensionality Reduction

확률 측도의 PCA: 희소 및 조밀 표본추출 영역

PCA of probability measures: Sparse and Dense sampling regimes

확률 측도에 대해 PCA를 수행하는 일반적인 접근법은 이를 표준 함수형 PCA 기법을 적용할 수 있는 힐베르트 공간에 임베딩하는 것이다. 하나의 측도의 임베딩을 $m$개의 표본으로부터 추정할 때의 수렴 속도는 잘 알려져 있으나, 여러 측도를 다루는 설정은 기존 문헌에서 다루어지지 않았다. 본 논문에서는 $n$개의 확률 측도가 관측되고 각각이 $m$개의 표본을 통해 관측되는 이중 점근 영역에서 PCA를 연구한다. 우리는 경험적 공분산 연산자와 PCA 초과 위험에 대해 $n^{-1/2} + m^{-\alpha}$ 형태의 수렴 속도를 유도하며, 여기서 $\alpha>0$은 선택한 임베딩에 따라 달라진다. 이는 측도의 개수 $n$과 측도당 표본 수 $m$ 사이의 관계를 규명하며, 수렴 거동에서 희소(작은 $m$)에서 조밀(큰 $m$)로의 전이가 나타남을 보여준다. 더 나아가, 조밀 영역의 속도가 경험적 공분산 오차에 대해 미니맥스 최적임을 증명한다. 수치 실험은 이러한 이론적 속도를 검증하고, 적절한 부표본추출이 계산 비용을 줄이면서도 PCA 정확도를 보존함을 보여준다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.