arXiv:1902.01600

Robust supervised classification and feature selection using a primal-dual method

Michel Barlaud, Antonin Chambolle, Jean-Baptiste Caillau

제출 2019-02-05

원문 초록

This paper deals with supervised classification and feature selection in high dimensional space. A classical approach is to project data on a low dimensional space and classify by minimizing an appropriate quadratic cost. A strict control on sparsity is moreover obtained by adding an $\ell_1$ constraint, here on the matrix of weights used for projecting the data. Tuning the sparsity bound results in selecting the relevant features for supervised classification. It is well known that using a quadratic cost is not robust to outliers. We cope with this problem by using an $\ell_1$ norm both for the constraint and for the loss function. In this case, the criterion is convex but not gradient Lipschitz anymore. Another second issue is that we optimize simultaneously the projection matrix and the centers used for classification. In this paper, we provide a novel tailored constrained primal-dual method to compute jointly selected features and classifiers. Extending our primal-dual method to other criteria is easy provided that efficient projection (on the dual ball for the loss data term) and prox (for the regularization term) algorithms are available. We illustrate such an extension in the case of a Frobenius norm for the loss term. We provide a convergence proof of our primal-dual method, and demonstrate its effectiveness on three datasets (one synthetic, two from biological data) on which we compare $\ell_1$ and $\ell_2$ costs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27950v1cs.CR공통 태그 General Classification, feature selection

자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상

Enhancing Multiclass Malware Classification in Resource-Constrained Environments

랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.

arXiv:2609.28208v1cs.LG공통 태그 General Classification, feature selection

Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보

Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models

표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.

arXiv:2606.22780v1cs.LG공통 태그 General Classification, feature selection

드래곤플라이 알고리즘과 생성적 적대 신경망 오버샘플링을 활용한 약물 영향 집단의 설명 가능 AI 정신 건강 예측

Explainable AI for Mental Health Prediction in Drug-Affected Populations with Dragonfly Algorithm and GAN Oversampling

약물 사용자들 사이의 정신 질환은 국제적으로 증가하는 문제이며, 특히 조기 발견을 쉽게 수행할 수 없는 지역에서 두드러진다. 현재 문헌은 약물 사용자에 대한 AI 기반 정신 건강 분석의 활용을 대체로 간과하는 경향이 있으며, 클래스 불균형 처리의 낮은 품질, 낮은 해석 가능성, 부적절한 하이퍼파라미터 최적화는 예측 품질과 임상적 유용성을 저하시킬 수 있다. 본 연구는 약물 영향을 받은 사람들의 다차원 데이터셋을 사용하여 다중 클래스 정신 건강 예측을 위한 상세하고 설명 가능한 머신러닝(ML) 모델을 제시한다. 우리는 기존 방법의 일부 한계를 해결하기 위해 하이브리드 PCA-정보 이득(PCA-IG) 특징 선택, 생성적 적대 신경망(GAN) 기반 오버샘플링, 드래곤플라이 알고리즘(DA)으로 최적화된 XGBoost를 결합한다. 제안된 프레임워크는 고차원 범주형 데이터를 효과적으로 처리하고, 클래스 불균형 문제를 해결하며, 지능형 하이퍼파라미터 튜닝을 통해 예측 성능을 향상시킨다. 실험 결과, GAN 기반 오버샘플링과 함께 DA로 최적화된 XGBoost 모델은 정확도 94.17%, 가중 F1 점수 93.80%를 달성하여 전통적 모델 및 기준선 모델보다 우수한 성능을 보였다. 행동, 생활습관, 건강 요인—특히 수면의 질, 신체 건강, 감정 조절—은 정신 건강을 강하게 예측하며, 특징 분석을 통해 인구통계학적 요인은 영향이 미미함을 확인하였다. SHAP 기반 설명 가능 AI는 이해하기 쉬운 개별 사례 수준의 정보를 제공하여, 임상 환경에서 사용될 모델의 해석 가능성과 신뢰성을 높인다. 결과는 이 프레임워크가 유효한 정신 건강 예측 도구를 생성할 잠재력을 가지며, 이는 조기 개입을 촉진하고 약물 영향을 받은 사람들의 치료를 개선할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.