Ensemble learning with Conformal Predictors: Targeting credible predictions of conversion from Mild Cognitive Impairment to Alzheimer's Disease
원문 초록
Most machine learning classifiers give predictions for new examples accurately, yet without indicating how trustworthy predictions are. In the medical domain, this hampers their integration in decision support systems, which could be useful in the clinical practice. We use a supervised learning approach that combines Ensemble learning with Conformal Predictors to predict conversion from Mild Cognitive Impairment to Alzheimer's Disease. Our goal is to enhance the classification performance (Ensemble learning) and complement each prediction with a measure of credibility (Conformal Predictors). Our results showed the superiority of the proposed approach over a similar ensemble framework with standard classifiers.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
다중 클래스 분류를 위한 누출 없는 스택 앙상블 방법
A Leakage-Free Stacked Ensemble Method for Multiclass Classification
다중 클래스 분류는 다양한 영역에서 기본적인 문제이다. 높은 클래스 간 유사성, 클래스 불균형 데이터셋, 데이터 분포의 변동성으로 인해 여전히 어려운 과제이다. XGBoost와 같은 규칙 기반 분류기는 구조화된 특성에서 더 강한 성능을 달성하는 경우가 많지만, 변수 간의 매끄러운 함수적 관계를 포착하는 데는 한계가 있다. 마찬가지로 신경망 모델은 복잡한 비선형 상호작용을 표현할 수 있지만 과적합과 일반화 문제에 자주 취약하다. 이러한 한계를 해결하기 위해, 우리는 Kolmogorov-Arnold Networks(KAN)를 이용한 함수적 학습과 XGBoost를 통한 규칙 기반 학습을 통합하여 견고한 다중 클래스 분류를 수행하는 누출 없는 스택 앙상블 프레임워크 LFS-FRAME을 제안한다. 제안된 프레임워크는 엄격한 out-of-fold 스택킹 전략을 사용하여 편향되지 않은 메타 특성을 구성하고, 학습과 검증 데이터 간의 완전한 격리를 보장함으로써 성능 누출을 방지한다. 이질적인 기본 학습기의 확률적 출력 위에서 학습함으로써, 메타 분류기는 복잡한 데이터에 존재하는 전역적 함수 패턴과 날카로운 결정 경계를 모두 효과적으로 활용한다. 다중 클래스 데이터셋에 대한 실험 평가에서 LFS-FRAME은 성능 지표를 개선했으며, 전체 정확도는 주요 패밀리 식별에서 89.85%, 하위 패밀리 식별에서 81.74%로, 강력한 단일 모델 베이스라인 대비 향상되었다. 이러한 결과는 신뢰할 수 있고 일반화 가능한 다중 클래스 분류를 위해 누출 없는 함수적 및 규칙 기반 스택킹의 효과를 보여준다.
ADABORD: 서열 분류를 위한 새로운 AdaBoost 접근법
ADABORD: a novel AdaBoost approach for ordinal classification
서열 분류(OC)는 클래스가 자연스러운 순서를 따르는 분류 작업을 다룬다. OC 분야의 진전에도 불구하고, 기존 접근법 중 많은 것들은 서열 정보를 충분히 활용하지 못하고 문제를 명목 분류로 취급하여 성능 잠재력을 잃는다. 본 연구에서는 서열 분류 문제를 위해 특별히 설계된 AdaBoost 프레임워크인 ADABORD를 제안한다. 클래스의 서열적 특성은 잘 알려진 AdaBoost 알고리즘의 두 가지 핵심 구성 요소에 통합된다: 1) 기본 추정기(base estimator)로, 서열 Gini 분할 기준을 갖는 의사결정 트리를 제안한다; 2) 각 단계에서 샘플 가중치를 업데이트하고 최종 앙상블 모델에서 분류기의 가중치를 갱신하는 데 사용되는 오차 함수로, 클래스 간 순서와 거리를 모두 고려하는 척도인 절대 순위 확률 점수(absolute ranked probability score)로 주어진다. ADABORD는 현재까지 OC를 위한 최대 규모의 벤치마크 컬렉션인 TOC-UCO 저장소에서 7개의 최신(state-of-the-art) 방법과 광범위하게 비교된다. 통계 분석으로 뒷받침된 실험 결과는 ADABORD가 경쟁 방법들을 유의미하게 능가함을 보여주며, 특히 서열 구조가 더 뚜렷해지는 5개 이상의 클래스를 갖는 데이터셋에서 그렇다. 소스 코드와 모든 실험 프로토콜은 재현성을 보장하고 OC의 향후 연구를 촉진하기 위해 공개적으로 제공된다.
크리오패시 증후군의 머신러닝 분류: 포괄적 비교 연구
Machine Learning Classification of Cryopathy Syndromes: A Comprehensive Comparative Study
크리오패시 증후군은 진단 범주 간에 검사실 패턴이 자주 겹치고 일부 진단이 드문 경우가 있어 분류가 어렵다. 이로 인해 크라이오글로불린 관련 검사의 일상적 해석이 어려워지고 전문가 판단에 대한 의존도가 높아진다. 본 연구의 목적은 검사실 데이터로부터 크리오패시 증후군을 자동 분류하기 위한 머신러닝 접근법을 개발·비교하고, 임상 의사결정 지원을 위한 실용적 전략을 찾는 것이었다. 방법: 14개 진단 범주에 배정된 2,686명 환자의 검사실 기록을 분석했다. 데이터셋에는 인구통계학적 변수, 크라이오글로불린 측정값, 침전 검사, 그리고 혈구응집소 및 용혈소 적가가 포함되었다. 데이터 전처리에는 정제, 인코딩, 결측치 대체(imputation), 정규화, 그리고 임상적으로 정보를 반영한 상호작용 특징 구성이 포함되었다. Random Forest, Gradient Boosted Trees, Multi-Layer Perceptron, 소프트 보팅(soft-voting) 앙상블, Synthetic Minority Over-sampling Technique(SMOTE)을 이용한 클래스 균형화, 계층적 분류, 기간 인식(period-aware) 모델, 표적 이진 분류기, 확률 보정(probability calibration)을 포함해 12가지 모델링 전략을 평가했다. 성능은 계층화된 train-test 평가와 계층화 5-fold 교차검증으로 평가했다. 주요 지표는 매크로 평균 F1 점수, 정확도(accuracy), Top-3 정확도, 기대 보정 오차(expected calibration error)였다. 뚜렷한 클래스 불균형과 진단 간 임상적 중첩으로 인해 전체 과제는 어려운 것으로 나타났다. 최고의 다중 클래스 성능은 Random Forest와 Gradient Boosted Trees의 소프트 보팅 앙상블이 달성했다. 교차검증은 균형화된 Random Forest 모델의 안정적인 성능을 확인했다. 트리 기반 방법은 신경망 모델보다 일관되게 우수한 성능을 보였다. 특징 공학(feature engineering)은 판별력을 향상시켰으며, 가장 정보가 풍부한 예측 변수는 크라이오글로불린 기반 파생 상호작용 특징에서 나왔다.
Performing Image Classification for 10 Different Monkey Species using CNN
Outlier Detection in Indoor Localization and Internet of Things (IoT) using Machine Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.