arXiv:2206.08974

DPDR: A novel machine learning method for the Decision Process for Dimensionality Reduction

Jean-Sébastien Dessureault, Daniel Massicotte

제출 2022-06-17

원문 초록

This paper discusses the critical decision process of extracting or selecting the features in a supervised learning context. It is often confusing to find a suitable method to reduce dimensionality. There are pros and cons to deciding between a feature selection and feature extraction according to the data's nature and the user's preferences. Indeed, the user may want to emphasize the results toward integrity or interpretability and a specific data resolution. This paper proposes a new method to choose the best dimensionality reduction method in a supervised learning context. It also helps to drop or reconstruct the features until a target resolution is reached. This target resolution can be user-defined, or it can be automatically defined by the method. The method applies a regression or a classification, evaluates the results, and gives a diagnosis about the best dimensionality reduction process in this specific supervised learning context. The main algorithms used are the Random Forest algorithms (RF), the Principal Component Analysis (PCA) algorithm, and the multilayer perceptron (MLP) neural network algorithm. Six use cases are presented, and every one is based on some well-known technique to generate synthetic data. This research discusses each choice that can be made in the process, aiming to clarify the issues about the entire decision process of selecting or extracting the features.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22333v1cs.CV공통 태그 Dimensionality Reduction, feature selection

설명 가능한 AI(XAI) 기반 하이퍼스펙트럴 이미지 분류를 위한 차원 축소

Dimensionality reduction for AI based hyperspectral image classification based on XAI

본 연구는 인공지능(AI) 기반 차원 축소를 활용하여 목재 재활용 공정에서 소재 재활용이 제한적인 문제를 다룬다. 본 연구는 RGB 채널을 넘어 200개 이상의 분광 채널을 갖는 다중 채널 하이퍼스펙트럴 이미징(HSI)에 합성곱 신경망(CNN)을 적용하는 방법을 탐구한다. 이러한 맥락에서 차원 축소는 AI 시스템의 학습과 추론을 위한 특징 공간을 간소화하는 것을 의미한다. 설명 가능한 AI(XAI) 기법에 초점을 맞춘 본 논문은 더 폭넓은 연구 이니셔티브에 기여하며, 목재 재활용 공정의 지속가능성과 효율성을 향상시키는 솔루션 프레임워크를 제시한다.

arXiv:2607.05229v1stat.ML공통 태그 Dimensionality Reduction, feature selection

msPCA: 다중 성분을 갖는 희소 PCA를 위한 R 패키지

msPCA: An R Package for Sparse PCA with Multiple Components

우리는 다중 성분을 지원하는 희소 주성분 분석(sparse PCA)을 위한 오픈소스 R 패키지 msPCA를 소개한다. 이 패키지는 교번 최대화(alternating maximization) 알고리즘을 구현하여, 데이터셋의 분산을 큰 비율로 설명하면서도 중복되지 않는 희소 로딩 벡터 집합을 생성한다. 알고리즘은 비중복성(non-redundancy)에 대한 두 가지 정의를 지원한다: 로딩 벡터의 직교성(orthogonality) 또는 주성분(PC) 간 쌍별 상관관계가 0인 조건이다. 보고된 벤치마크에서 msPCA는 수천 개의 특징(feature)을 갖는 희소 PCA 문제를 풀며, 실현 가능성 위반을 제어하고 높은 분산 설명 비율을 유지하면서 경쟁력 있는 실행 시간을 달성한다.

arXiv:2607.03839v1cs.LG공통 태그 Dimensionality Reduction, feature selection

Adversarial LassoNet: 안정성 기반 희소 학습을 통한 강건한 특징 선택

Adversarial LassoNet: Robust Feature Selection via Stability-Driven Sparse Learning

희소 특징 선택(sparse feature selection)은 고차원 머신러닝에서 매우 중요하지만, 전통적인 $\ell_1$ 정규화 방법은 관측 노이즈와 허위 상관관계에 취약하여 불안정한 특징 지지(feature support)와 저하된 일반화 성능으로 이어지는 경우가 많다. 적대적 학습(adversarial training)은 모델 강건성 향상에 널리 활용되어 왔지만, 계층적 희소 특징 선택과의 상호작용은 아직 충분히 탐구되지 않았다. 본 연구에서는 입력 공간 적대적 섭동(adversarial perturbation)을 LassoNet의 계층적 희소성 메커니즘과 통합한 안정성 기반 희소 특징 선택 프레임워크인 Adversarial LassoNet(AdLNet)을 제안한다. 우리는 국소 평활성 가정 하에서 다루기 쉬운 1차 적대적 근사를 유도하고, NTK에서 영감을 받은 스펙트럼 분석을 통해 섭동 기반 학습이 그래디언트 집중을 어떻게 완화할 수 있는지 규명한다. 고차원 SERS 데이터, 6개의 공개 벤치마크 데이터셋, ColoredMNIST에 대한 실험 결과, AdLNet은 경쟁력 있는 희소 선택 성능을 유지하면서 ColoredMNIST에서 거의 동일한 지지 희소성 조건 하에 분포 외(out-of-distribution) 강건성을 4.4%, 특징 지지 재현성을 6.3% 향상시켰다. 고차원 폐암 검진 데이터셋에서 AdLNet은 기본 LassoNet 대비 테스트 정확도 5.3%, AUC 6.0% 향상을 달성하였다. 코드와 데이터셋은 https://github.com/719573/Adversarial-LassoNet 에서 확인할 수 있다.

arXiv:2606.29104v1stat.CO공통 태그 Dimensionality Reduction, feature selection

spca: 최소 제곱 희소 주성분 분석을 위한 R 패키지

spca: An R package to Compute Least Squares Sparse Principal Components

이 논문은 최소 제곱 희소 주성분 분석(LS-SPCA)을 위한 계산 프레임워크를 제공하는 R 패키지 spca를 소개한다. 다른 SPCA 방법들과 달리, LS-SPCA는 표준 주성분(PC)과의 강한 상관관계를 유지하면서 설명 분산을 효과적으로 최대화하는 비상관(uncorrelated) 희소 주성분(sPC)을 생성한다. 또한 이 프레임워크는 LS-SPCA 최적 sPC보다 낮은 카디널리티(cardinality)를 가지면서 동등하거나 더 높은 분산을 설명하는, 약한 상관관계의 sPC를 생성하는 더 계산 효율적인 변형도 포함한다. spca 패키지는 행렬 연산을 위한 효율적인 C++ 백엔드(tall 행렬과 fat 행렬에 대한 별도 엔진 포함)와 유연한 R 프론트엔드로 구성된다. 사용자 인터페이스는 sPC 계산을 위한 다양한 옵션을 제공하며, 누적 설명 분산 또는 PC와의 R² 임계값 도달 시 희소화(sparsification)를 중단할지 여부 결정, 변수 선택 시 단순 전진 선택(forward selection), 단계적 전진 선택(stepwise forward selection), 후진 제거(backward elimination) 중 선택 등을 지원한다. print(), summary(), plot() 메서드 외에도, 패키지는 서로 다른 "spca" 솔루션 비교, 희소 로딩(sparse loading) 그룹화, 외부 SPCA 솔루션을 "spca" 객체로 변환하는 도구를 포함한다. 이 논문은 실제 데이터셋을 활용해 일반적인 LS-SPCA 워크플로에서의 패키지 사용법을 시연하고, LS-SPCA와 기존 SPCA 솔루션을 간략히 비교한다. 이어서 동일 데이터셋에서 얻은 서로 다른 LS-SPCA 솔루션들을 비교하고, 마지막으로 대형 tall 및 fat 행렬에서의 spca 성능을 논의하여, spca가 해석 가능한 sPC 계산을 위한 계산 효율적인 대안임을 보인다.

arXiv:2606.28145v1cs.LG공통 태그 Dimensionality Reduction, feature selection

웨어러블 원격측정 데이터 기반 운동선수 성능 점수화를 위한 오토인코더 아키텍처

Autoencoder Architectures for Athlete Performance Scoring from Wearable Telemetry

웨어러블 기기는 일상적인 러너들을 위한 대규모 고차원 학습 로그를 생성하며, 이제 병목은 데이터 수집보다 해석에 있다. 본 논문은 차원 축소 모델 5개, 오토인코더 변형 3종, PCA, 변분 오토인코더(VAE)를 평가하여 9개 센서 러너 프로필을 단일 스칼라 성능 지표인 잠재 점수(latent score)로 압축하는 능력을 검토한다. 설정이 완전 비지도이므로 모델 품질은 두 가지 상보적인 축을 따라 평가된다: 재구성 오차(Mean Squared Error)와 Spearman 및 Kendall 순위 상관, 상호정보량(Mutual Information), 순열 중요도(Permutation Importance)로 측정한 잠재 점수 해석 가능성. 이들은 재구성 정확도만으로 모델을 선택하는 것을 방지하는 복합 선택 기준으로 결합된다. 네 가지 지표의 특징 순위는 수정 Borda count로 집계되며, 부트스트랩 검증을 통해 안정성이 확인된다. 비교의 기준점으로 2개 특징 선형 기준선이 포함된다. Deep autoencoder는 가장 낮은 재구성 오차와 가장 높은 복합 점수를 달성했다. PCA 은닉층을 확장한 뒤 더 깊은 변형들은 복합 기준에서 Deep AE와 근접하게 경쟁하게 되었으며, 이는 제한 요인이 1차원 병목이 아니라 은닉층 용량이었음을 시사한다. 달리기 페이스, 유산소 디커플링(aerobic decoupling), 평균 심박수가 모든 모델과 재샘플링 실행에서 잠재 점수의 지배적 동인으로 나타났으며, 이는 기존 생리학과 일치한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.