Using Dimension Reduction to Improve the Classification of High-dimensional Data
원문 초록
In this work we show that the classification performance of high-dimensional structural MRI data with only a small set of training examples is improved by the usage of dimension reduction methods. We assessed two different dimension reduction variants: feature selection by ANOVA F-test and feature transformation by PCA. On the reduced datasets, we applied common learning algorithms using 5-fold cross-validation. Training, tuning of the hyperparameters, as well as the performance evaluation of the classifiers was conducted using two different performance measures: Accuracy, and Receiver Operating Characteristic curve (AUC). Our hypothesis is supported by experimental results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보
Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.
설명 가능한 AI(XAI) 기반 하이퍼스펙트럴 이미지 분류를 위한 차원 축소
Dimensionality reduction for AI based hyperspectral image classification based on XAI
본 연구는 인공지능(AI) 기반 차원 축소를 활용하여 목재 재활용 공정에서 소재 재활용이 제한적인 문제를 다룬다. 본 연구는 RGB 채널을 넘어 200개 이상의 분광 채널을 갖는 다중 채널 하이퍼스펙트럴 이미징(HSI)에 합성곱 신경망(CNN)을 적용하는 방법을 탐구한다. 이러한 맥락에서 차원 축소는 AI 시스템의 학습과 추론을 위한 특징 공간을 간소화하는 것을 의미한다. 설명 가능한 AI(XAI) 기법에 초점을 맞춘 본 논문은 더 폭넓은 연구 이니셔티브에 기여하며, 목재 재활용 공정의 지속가능성과 효율성을 향상시키는 솔루션 프레임워크를 제시한다.
msPCA: 다중 성분을 갖는 희소 PCA를 위한 R 패키지
msPCA: An R Package for Sparse PCA with Multiple Components
우리는 다중 성분을 지원하는 희소 주성분 분석(sparse PCA)을 위한 오픈소스 R 패키지 msPCA를 소개한다. 이 패키지는 교번 최대화(alternating maximization) 알고리즘을 구현하여, 데이터셋의 분산을 큰 비율로 설명하면서도 중복되지 않는 희소 로딩 벡터 집합을 생성한다. 알고리즘은 비중복성(non-redundancy)에 대한 두 가지 정의를 지원한다: 로딩 벡터의 직교성(orthogonality) 또는 주성분(PC) 간 쌍별 상관관계가 0인 조건이다. 보고된 벤치마크에서 msPCA는 수천 개의 특징(feature)을 갖는 희소 PCA 문제를 풀며, 실현 가능성 위반을 제어하고 높은 분산 설명 비율을 유지하면서 경쟁력 있는 실행 시간을 달성한다.
Adversarial LassoNet: 안정성 기반 희소 학습을 통한 강건한 특징 선택
Adversarial LassoNet: Robust Feature Selection via Stability-Driven Sparse Learning
희소 특징 선택(sparse feature selection)은 고차원 머신러닝에서 매우 중요하지만, 전통적인 $\ell_1$ 정규화 방법은 관측 노이즈와 허위 상관관계에 취약하여 불안정한 특징 지지(feature support)와 저하된 일반화 성능으로 이어지는 경우가 많다. 적대적 학습(adversarial training)은 모델 강건성 향상에 널리 활용되어 왔지만, 계층적 희소 특징 선택과의 상호작용은 아직 충분히 탐구되지 않았다. 본 연구에서는 입력 공간 적대적 섭동(adversarial perturbation)을 LassoNet의 계층적 희소성 메커니즘과 통합한 안정성 기반 희소 특징 선택 프레임워크인 Adversarial LassoNet(AdLNet)을 제안한다. 우리는 국소 평활성 가정 하에서 다루기 쉬운 1차 적대적 근사를 유도하고, NTK에서 영감을 받은 스펙트럼 분석을 통해 섭동 기반 학습이 그래디언트 집중을 어떻게 완화할 수 있는지 규명한다. 고차원 SERS 데이터, 6개의 공개 벤치마크 데이터셋, ColoredMNIST에 대한 실험 결과, AdLNet은 경쟁력 있는 희소 선택 성능을 유지하면서 ColoredMNIST에서 거의 동일한 지지 희소성 조건 하에 분포 외(out-of-distribution) 강건성을 4.4%, 특징 지지 재현성을 6.3% 향상시켰다. 고차원 폐암 검진 데이터셋에서 AdLNet은 기본 LassoNet 대비 테스트 정확도 5.3%, AUC 6.0% 향상을 달성하였다. 코드와 데이터셋은 https://github.com/719573/Adversarial-LassoNet 에서 확인할 수 있다.
Conditional Inference Trees and Forests for Feature Selection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.