Missing Value Estimation using Clustering and Deep Learning within Multiple Imputation Framework
원문 초록
Missing values in tabular data restrict the use and performance of machine learning, requiring the imputation of missing values. The most popular imputation algorithm is arguably multiple imputations using chains of equations (MICE), which estimates missing values from linear conditioning on observed values. This paper proposes methods to improve both the imputation accuracy of MICE and the classification accuracy of imputed data by replacing MICE's linear conditioning with ensemble learning and deep neural networks (DNN). The imputation accuracy is further improved by characterizing individual samples with cluster labels (CISCL) obtained from the training data. Our extensive analyses involving six tabular data sets, up to 80% missingness, and three missingness types (missing completely at random, missing at random, missing not at random) reveal that ensemble or deep learning within MICE is superior to the baseline MICE (b-MICE), both of which are consistently outperformed by CISCL. Results show that CISCL plus b-MICE outperforms b-MICE for all percentages and types of missingness. Our proposed DNN based MICE and gradient boosting MICE plus CISCL (GB-MICE-CISCL) outperform seven other baseline imputation algorithms in most experimental cases. The classification accuracy on the data imputed by GB-MICE is improved by proposed GB-MICE-CISCL imputed data across all missingness percentages. Results also reveal a shortcoming of the MICE framework at high missingness (>50%) and when the missing type is not random. This paper provides a generalized approach to identifying the best imputation model for a data set with a missingness percentage and type.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RadioTrace: 배포 시점 미세조정 없는 송신기 인식 확산 기반 라디오 맵 추정
RadioTrace: Transmitter-Aware Diffusion for Radio Map Estimation without Deployment-Time Fine-Tuning
라디오 맵(RM) 추정은 희소 측정값으로부터 수신 신호 강도(RSS)와 같은 무선 신호 특성의 공간 분포를 재구성하는 것을 목표로 하며, 이는 현대 무선 네트워크에서 스펙트럼 관리, 간섭 완화, 위치 추정에 핵심적인 과제이다. 전통적인 접근법인 보간법과 심층 학습은 복잡한 전파 효과를 포착하기 어렵거나, 새로운 샘플링 패턴마다 대규모 재학습이 필요하여 일반화 능력이 제한된다. 최근에는 사전 기반 방법들이 사전학습된 생성 모델과 측정값을 결합하여 배포 시점 모델 미세조정의 필요성을 줄이고 있으나, 일반적으로 사전 분포(prior)를 단순한 정규화(regularizer)로 취급하며 명시적인 송신기 인식 통합이 부족하다. 본 논문에서는 배포 시점 미세조정 없이 희소 RSS 측정값과 고정된 사전학습 확산 사전 분포를 긴밀히 통합하는 새로운 RM 추정 프레임워크인 RadioTrace를 제안한다. RadioTrace는 송신기(Tx) 위치 추정을 디노이징 루프에 직접 통합하여, 재구성 품질에 기반해 Tx 좌표를 반복적으로 정제함으로써 생성 과정을 안내한다. 견고성을 더욱 향상시키기 위해, Tx 업데이트에서 불량한 국소 최솟값을 완화하고 기하학적으로 일관된 시작점을 제공하는 전파 유도 K-means 초기화를 도입한다. 또한 Tx 좌표 정제 구성 요소에 대한 확률적 안정성 분석을 제공하여, Tx 업데이트가 확산 샘플링과 Tx-맵 완화(relaxation)에 의해 유발되는 섭동 하에서도 안정적으로 유지됨을 보인다. 광범위한 실험을 통해 RadioTrace가 무작위 샘플링 하에서 최첨단 학습 기반 방법들과 경쟁력 있는 성능을 달성하고, 제한 구역 샘플링 하에서도 강력한 재구성 품질을 유지함을 보여주며, 이는 적응성, 견고성, 실용적 관련성을 강조한다.
SPORT: 불완전 다중 뷰 클러스터링을 위한 구조 인식 프로토타입 분리
SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering
프로토타입 기반 불완전 다중 뷰 클러스터링(Incomplete Multi-view Clustering)은 최근 누락 뷰 대체(missing-view imputation)를 위한 의미론적 앵커로 프로토타입을 활용함으로써 점점 더 많은 주목을 받고 있다. 그러나 기존 방법들은 세 가지 측면에서 여전히 한계를 지닌다. 첫째, 기존 방법들은 일반적으로 뷰 간 프로토타입 일관성을 강제하는 데 집중하면서 프로토타입에 내재된 뷰별 정보를 무시하여 다중 뷰 표현력을 제한한다. 둘째, 대부분의 방법은 뷰 간 쌍을 이루는 샘플만 정렬하는 인스턴스 수준의 대조 학습에 의존하여 클러스터 수준의 관계 구조를 보존하지 못한다. 셋째, 누락 뷰 대체는 대개 전역 프로토타입만을 사용하여 수행되며 지역 기하학적 이웃 구조를 고려하지 않아 누락 표현의 부정확한 복구로 이어진다. 이러한 한계를 해결하기 위해 우리는 SPORT(Structure-aware PrOtotype disentanglement foR incomplete multi-view clusTering)라는 새로운 프레임워크를 제안한다. SPORT는 클러스터 수준의 관계 구조를 보존하면서 프로토타입의 공유 구성요소와 뷰별 구성요소를 명시적으로 분리한다. 구체적으로, 프로토타입을 직교하는 공유 구성요소와 뷰별 구성요소로 분리하여 공유 구성요소만 정렬해 합의 의미론을 포착하고, 뷰별 구성요소는 비상관화하여 보완적 정보를 보존한다. 한편, 구조 인식 대조 학습 메커니즘을 도입하여 뷰 간 표현 학습 중에 클러스터 수준의 관계를 명시적으로 모델링한다. 나아가, 하이브리드 대체 전략은 전역 프로토타입 매칭과 지역 이웃 매칭을 통합하여 누락 뷰 복구를 위한 의미론적 프로토타입과 매니폴드 구조의 공동 활용을 가능하게 한다. 여섯 개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 SPORT가 다양한 누락률 조건에서 최신 방법들을 능가하는 우수한 성능을 달성함을 보여준다.
데이터 기반 통신 마케팅 최적화: 머신러닝 기반 이탈 예측 및 고객 세분화 프레임워크
Data-Driven Telecom Marketing Optimization: A Machine Learning-Based Churn Prediction and Customer Segmentation Framework
고객 이탈은 통신사가 직면한 주요 과제로, 매출과 장기적인 고객 관계를 직접적으로 잠식한다. 기존 고객 유지 프로그램은 개인화되지 않은 일반적인 인센티브에 의존하며, 고객이 떠나기 전에 고위험 고객을 식별하는 정밀도가 부족하다. 본 논문은 머신러닝 기반 이탈 예측, 이탈 위험과 고객 가치를 결합한 고객 세분화, 그리고 세그먼트별로 맞춤화된 마케팅 및 투자 수익률(ROI) 전략을 통합한 데이터 기반 마케팅 최적화 프레임워크를 제시한다. 7,043명의 고객과 21개의 피처로 구성된 IBM Telco Customer Churn 데이터셋을 활용하여, XGBoost, LightGBM, CatBoost 세 가지 그래디언트 부스팅 앙상블 모델을 계층화된 5-폴드 교차 검증, 클래스 가중치 부여, F1 점수 기반 결정 임계값 최적화를 적용한 랜덤 탐색으로 학습 및 튜닝하였으며, 이를 통해 73.4% 대 26.6%의 클래스 불균형 문제에 대응하였다. CatBoost가 배포 모델로 선정되어 보류 테스트 세트에서 정확도 77.68%, F1 점수 0.6366, PR AUC 0.6553, ROC AUC 0.8403을 달성하였다. 고객은 K-Means 클러스터링으로 분할되었으며, 엘보우 방법으로 검증하고 주성분 분석(PCA)으로 시각화하여 고가치, 중가치, 저가치 세그먼트로 구분한 뒤, 이탈 위험 레이블과 교차 집계하여 네 가지 실행 가능한 클러스터를 정의하였다. 각 클러스터별 고객 유지, 업셀, 참여 전략이 설계되었으며, 이론적 ROI 및 고객 생애 가치(CLV) 프레임워크를 통해 제안된 개입의 재무적 영향을 정량화하였다. 파이프라인은 마케팅 팀이 데이터를 업로드하고 세그먼트별로 필터링하며 SHAP을 통해 이탈 요인을 시각화하고 자동화된 세그먼트 보고서를 다운로드할 수 있는 대화형 Streamlit 웹 애플리케이션으로 운영화되었다. 실험 결과, 예측적 이탈 모델링과 가치 인식 세분화를 결합하면 이탈 예측 단독 방식보다 더 실행 가능하고 수익성 높은 마케팅 의사결정이 가능함을 확인하였다.
이미지 분류를 위한 앙상블 집계 기반 코어셋 선택 프레임워크
A Coreset Selection Framework with Ensemble Aggregation for Image Classification
이미지 데이터의 급격한 증가로 대규모 데이터셋이 생성되면서, 모델 학습에 소요되는 시간 및 메모리 비용에 대한 우려가 커지고 있다. 그러나 대표적인 학습 서브셋을 선택하는 것은 여전히 어려운 과제인데, 개별 샘플의 기여도가 불분명하고 모델 동작이 데이터셋 및 실행에 따라 달라지기 때문이다. 우리는 코어셋 선택과 여러 실행에 걸친 앙상블 집계를 결합한 프레임워크로 이러한 문제를 해결한다. 코어셋 선택을 위해, 선택된 점수를 기반으로 학습 데이터를 구간으로 분할하고 각 구간에서 샘플링하는 SCOre-Stratified Selection(SCOSS)을 제안한다. 앙상블은 독립적으로 샘플링된 학습 서브셋에서 각각 수행된 여러 실행의 예측을 결합한다. 기준선으로는 원본 버전과 클래스 균형 버전을 각각 가진 적당한(moderate) 선택과 무작위 선택을 사용한다. 우리는 서로 다른 샘플링 비율 하에서 Simple Graph Convolution(SGC)과 서포트 벡터 머신(SVM) 분류기로 프레임워크를 평가한다. 실험 결과, SCOSS는 기준선과 경쟁력 있으며 SGC에 있어 종종 최선의 선택이고, 정확도와 효율성 간의 유리한 트레이드오프를 가능하게 한다. 세밀한(fine-grained) 데이터셋에서는 레이블된 샘플을 더 적게 사용할 때 SCOSS를 적용한 SGC가 SVM을 능가한다. 코드와 보충 자료는 http://scoss.lucasvalem.com에서 공개적으로 이용 가능하다.
Ensemble Learning for Spectral Clustering
Mind the gap: an experimental evaluation of imputation of missing values techniques in time series
토론
이 논문과 연결된 포럼 글이 아직 없습니다.