A XGBoost risk model via feature selection and Bayesian hyper-parameter optimization
원문 초록
This paper aims to explore models based on the extreme gradient boosting (XGBoost) approach for business risk classification. Feature selection (FS) algorithms and hyper-parameter optimizations are simultaneously considered during model training. The five most commonly used FS methods including weight by Gini, weight by Chi-square, hierarchical variable clustering, weight by correlation, and weight by information are applied to alleviate the effect of redundant features. Two hyper-parameter optimization approaches, random search (RS) and Bayesian tree-structured Parzen Estimator (TPE), are applied in XGBoost. The effect of different FS and hyper-parameter optimization methods on the model performance are investigated by the Wilcoxon Signed Rank Test. The performance of XGBoost is compared to the traditionally utilized logistic regression (LR) model in terms of classification accuracy, area under the curve (AUC), recall, and F1 score obtained from the 10-fold cross validation. Results show that hierarchical clustering is the optimal FS method for LR while weight by Chi-square achieves the best performance in XG-Boost. Both TPE and RS optimization in XGBoost outperform LR significantly. TPE optimization shows a superiority over RS since it results in a significantly higher accuracy and a marginally higher AUC, recall and F1 score. Furthermore, XGBoost with TPE tuning shows a lower variability than the RS method. Finally, the ranking of feature importance based on XGBoost enhances the model interpretation. Therefore, XGBoost with Bayesian TPE hyper-parameter optimization serves as an operative while powerful approach for business risk modeling.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보
Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.
동질성-간결성 트레이드오프에 의한 외부 클러스터링 검증
External Clustering Validation by the Homogeneity-Parsimony Trade-off
스칼라 지표는 알려진 클래스에 대해 클러스터링을 평가하는 데 자주 사용되지만, 클러스터링은 클래스 레이블에 대해 정보를 제공하면서 불필요한 분할을 피해야 한다는 근본적인 트레이드오프를 가릴 수 있다. 본 논문에서는 이러한 트레이드오프를 정량화하는 클러스터 동질성과 간결성의 정규화된 점수를 제시한다. 이 점수들은 손실 압축을 보상하지 않도록 수정된 정보 병목(information bottleneck) 원리에 기반한다. 예시와 수학적 증명을 통해, 관련 제안들과 달리 이러한 점수 정의가 클러스터 정제(refinement) 하에서 단조적으로 변하는 직관적인 성질을 갖음을 보인다. 섀넌 엔트로피(Shannon entropies)를 넘어 정보 이론적 프레임워크를 확장하여, 동질성 및 간결성 점수의 집합 매칭(set-matching) 및 쌍 기반(pair-based) 대응체를 추가로 도출한다. 이는 일반적으로 사용되는 평가 기준을 통합하며, 쌍 기반 설정에서 동질성-간결성 트레이드오프가 이진 분류기의 수신자 조작 특성(ROC, receiver operating characteristic)을 복원함을 보인다. 프레임워크의 특징 선택 및 알고리즘 비교에 대한 유용성을 시연하며, 점수를 공동으로 고려하는 것이 클러스터링 작동점(operating points)을 명확히 하고 파레토 최적(Pareto-optimal) 해법을 식별하는 방법을 보여준다.
공간 유전자 지도화를 통한 단일세포 생물학을 위한 비전 기반 모델
A vision foundation model for single-cell biology via spatial gene cartography
대부분의 단일세포 기반 모델은 언어 모델에서 파생되어 각 세포를 유전자 토큰의 시퀀스로 표현한다. 이는 유전자 간 관계와 종종 그 발현 크기를 버린다. 우리는 scVision을 제안한다. 이는 대신 각 세포를 연속 이미지로 렌더링하는 비전 기반 모델이다. 최적 수송(optimal transport)을 사용해 공발현 유전자가 공간적으로 이웃하도록 단일 공유·전조직(pan-tissue) 레이아웃의 고정 위치에 유전자를 배치하고, 전사체(transcriptome)를 유전자 프로그램이 국소 텍스처로 나타나는 이미지로 바꾼다. 7,200만 개의 인간 세포에 대해 마스크드 이미지 모델링(masked image modelling)으로 비전 트랜스포머를 사전학습하고, 미세조정 없이 고정된 인코더를 사용한다. 6개의 독립적 보류(hold-out) 연구에 대한 제로샷 평가에서 scVision은 가장 정확한 세포 유형 주석기이며, 감독 없이 유전자 프로그램을 복원해 기존 기반 모델과 고전적 베이스라인보다 앞선다. 다중 연구 통합에서는 배치 레이블을 한 번도 보지 않았음에도 가장 강력한 토큰 기반 모델과 맞먹는 성능을 내면서 가장 많은 생물학적 구조를 보존한다. 네트워크를 고정한 채 유전자 레이아웃을 치환하면 비전 트랜스포머 자체를 제거하는 것보다 정확도가 더 크게 떨어져, 신호를 담는 것은 네트워크가 아니라 생물학적으로 의미 있는 위치임을 보여준다. 발현 크기와 유전자 관계를 보존함으로써 scVision은 단일세포 표현 학습을 비전 문제로 재구성하여, 이를 컴퓨터 비전(CV)의 성숙한 방법들과 연결한다.
다변량 풍력 발전단 SCADA 데이터 필터링을 위한 군집 알고리즘
Clustering algorithms for multivariate wind farm SCADA data filtering
풍력 발전단 운전 중 감시 제어 및 데이터 수집(Supervisory Control and Data Acquisition, SCADA) 시스템은 수많은 이상(anomaly), 과도현상(transient), 특정 운전 모드를 기록하여 대규모 데이터셋을 생성한다. 그러나 다양한 응용 분야에서는 정상 운전에 해당하는 측정값만 필요하므로 SCADA 데이터를 필터링해야 한다. 이를 위해 전문가가 데이터를 시각적으로 검토하여 수행하는 수동 필터링을 자동화하고 대체하기 위한 여러 방법이 제안되었다. 본 논문에서는 수동 필터링과 여러 군집 알고리즘의 필터링 정확도를 비교하고, 라벨이 없는 데이터에 적합하며 잠재적 응용 분야 전반에 걸쳐 견고한 평가(evaluation) 지표를 도입한다. 결과를 바탕으로 서로 다른 데이터셋에 모델 보정을 일반화하는 방안에 대한 권고사항을 제시하고, 각 모델의 잠재적 활용 사례를 논의한다. 모델은 기존 해상 풍력 발전단의 3개 터빈 SCADA 데이터에 여러 데이터 채널에 걸친 10분 통계치를 사용하여 적용하였다. 일반적으로 기록되는 이상 및 운전 모드 외에도, 데이터셋은 여러 현장 시험(field test)으로 인해 뚜렷하지 않은(non-evident) 이상치(outlier)가 다수 존재한다. 전반적으로 결과는 특징 선택과 평가 지표 설계 모두에서 출력 곡선(power curve)을 넘어 분석을 확장하는 것의 중요성을 강조한다. 대부분의 경우 군집 기반 방법은 뚜렷한 이상치와 미묘한 이상치를 모두 검출할 수 있으며, 수동 필터링보다 높은 정확도를 달성한다. 그러나 정확도와 보존되는 데이터의 양은 모델에 따라 상당히 달라지며, 수동 필터링에 비해 줄어들긴 하지만 전문가의 개입은 여전히 필요하다.
효율적인 래퍼 기반 특징 선택을 통한 풍력·태양광 발전 예측 개선: 실증 연구
Improving Wind and Solar Power Prediction with Efficient Wrapper-based Feature Selection: An Empirical Study
전 세계 에너지 수요 증가와 기후 변화 및 그 영향에 대한 인식 확대에 따라, 재생 에너지가 전 세계 에너지 믹스에서 차지하는 비중은 계속 증가하고 있다. 기존 발전 방식과 달리, 재생 에너지원의 출력은 환경 조건에 대한 의존성 때문에 일관되게 제어할 수 없다. 따라서 현재 및 미래 에너지 생산을 신뢰성 있게 예측하는 것이 필수적이다. 본 논문에서는 실제 재생 에너지 예측 과제에 대한 두 가지 구조화된 문헌 검토의 결과를 보고한다: 풍력 터빈 출력 곡선 모델링과 광전(photovoltaic) 발전 예측. 전자에 대해서는 우리가 직접 포괄적인 문헌 검토를 수행하였고, 후자에 대해서는 기존 설문 조사를 바탕으로 자주 선택되는 입력 특징에 관한 핵심 발견 사항을 종합한다. 두 영역 모두에서, 우리의 분석은 이용 가능한 모니터링 및 환경 변수가 많음에도 불구하고 특징 선택을 위한 방법이 제한적이거나 체계적이지 않다는 것을 보여준다. 이 간극을 해소하기 위해, 우리는 재생 에너지 예측 파이프라인에서 자동적이고 효율적이며 신뢰할 수 있는 특징 선택을 위한 새로운 모델 불가지(model-agnostic) 클러스터링 기반 래퍼 방법인 클러스터 기반 순차 특징 선택(Cluster-based Sequential Feature Selection, CSFS)을 제안한다. 재현성과 재사용을 지원하기 위해 GitHub에 CSFS의 오픈소스 구현을 제공한다. 우리는 두 사용 사례에서 제안한 방법을 실증적으로 평가하고, 래퍼 기반 순차 특징 선택(SFS), 필터 기반 방법, Random Forest의 내장형(embedded) 특징 중요도와 같은 기존 특징 선택 기법과 비교한다. 결과는 래퍼 기반 방법이 전반적으로 더 우수한 성능의 특징 선택을 제공함을 보여준다. CSFS는 SFS와 유사한 예측 성능을 달성하면서 계산 비용을 평균 21% 감소시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.