Supervised Feature Selection for Diagnosis of Coronary Artery Disease Based on Genetic Algorithm
원문 초록
Feature Selection (FS) has become the focus of much research on decision support systems areas for which data sets with tremendous number of variables are analyzed. In this paper we present a new method for the diagnosis of Coronary Artery Diseases (CAD) founded on Genetic Algorithm (GA) wrapped Bayes Naive (BN) based FS. Basically, CAD dataset contains two classes defined with 13 features. In GA BN algorithm, GA generates in each iteration a subset of attributes that will be evaluated using the BN in the second step of the selection procedure. The final set of attribute contains the most relevant feature model that increases the accuracy. The algorithm in this case produces 85.50% classification accuracy in the diagnosis of CAD. Thus, the asset of the Algorithm is then compared with the use of Support Vector Machine (SVM), MultiLayer Perceptron (MLP) and C4.5 decision tree Algorithm. The result of classification accuracy for those algorithms are respectively 83.5%, 83.16% and 80.85%. Consequently, the GA wrapped BN Algorithm is correspondingly compared with other FS algorithms. The Obtained results have shown very promising outcomes for the diagnosis of CAD.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보
Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.
대규모 언어 모델의 활성화 공간 제어를 위한 통계적 근거 기반 희소 특징 개입
Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models
활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.
드래곤플라이 알고리즘과 생성적 적대 신경망 오버샘플링을 활용한 약물 영향 집단의 설명 가능 AI 정신 건강 예측
Explainable AI for Mental Health Prediction in Drug-Affected Populations with Dragonfly Algorithm and GAN Oversampling
약물 사용자들 사이의 정신 질환은 국제적으로 증가하는 문제이며, 특히 조기 발견을 쉽게 수행할 수 없는 지역에서 두드러진다. 현재 문헌은 약물 사용자에 대한 AI 기반 정신 건강 분석의 활용을 대체로 간과하는 경향이 있으며, 클래스 불균형 처리의 낮은 품질, 낮은 해석 가능성, 부적절한 하이퍼파라미터 최적화는 예측 품질과 임상적 유용성을 저하시킬 수 있다. 본 연구는 약물 영향을 받은 사람들의 다차원 데이터셋을 사용하여 다중 클래스 정신 건강 예측을 위한 상세하고 설명 가능한 머신러닝(ML) 모델을 제시한다. 우리는 기존 방법의 일부 한계를 해결하기 위해 하이브리드 PCA-정보 이득(PCA-IG) 특징 선택, 생성적 적대 신경망(GAN) 기반 오버샘플링, 드래곤플라이 알고리즘(DA)으로 최적화된 XGBoost를 결합한다. 제안된 프레임워크는 고차원 범주형 데이터를 효과적으로 처리하고, 클래스 불균형 문제를 해결하며, 지능형 하이퍼파라미터 튜닝을 통해 예측 성능을 향상시킨다. 실험 결과, GAN 기반 오버샘플링과 함께 DA로 최적화된 XGBoost 모델은 정확도 94.17%, 가중 F1 점수 93.80%를 달성하여 전통적 모델 및 기준선 모델보다 우수한 성능을 보였다. 행동, 생활습관, 건강 요인—특히 수면의 질, 신체 건강, 감정 조절—은 정신 건강을 강하게 예측하며, 특징 분석을 통해 인구통계학적 요인은 영향이 미미함을 확인하였다. SHAP 기반 설명 가능 AI는 이해하기 쉬운 개별 사례 수준의 정보를 제공하여, 임상 환경에서 사용될 모델의 해석 가능성과 신뢰성을 높인다. 결과는 이 프레임워크가 유효한 정신 건강 예측 도구를 생성할 잠재력을 가지며, 이는 조기 개입을 촉진하고 약물 영향을 받은 사람들의 치료를 개선할 수 있음을 시사한다.
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
Describing objects by their attributes
토론
이 논문과 연결된 포럼 글이 아직 없습니다.