Semantic-Preserving Feature Partitioning for Multi-View Ensemble Learning
원문 초록
In machine learning, the exponential growth of data and the associated ``curse of dimensionality'' pose significant challenges, particularly with expansive yet sparse datasets. Addressing these challenges, multi-view ensemble learning (MEL) has emerged as a transformative approach, with feature partitioning (FP) playing a pivotal role in constructing artificial views for MEL. Our study introduces the Semantic-Preserving Feature Partitioning (SPFP) algorithm, a novel method grounded in information theory. The SPFP algorithm effectively partitions datasets into multiple semantically consistent views, enhancing the MEL process. Through extensive experiments on eight real-world datasets, ranging from high-dimensional with limited instances to low-dimensional with high instances, our method demonstrates notable efficacy. It maintains model accuracy while significantly improving uncertainty measures in scenarios where high generalization performance is achievable. Conversely, it retains uncertainty metrics while enhancing accuracy where high generalization accuracy is less attainable. An effect size analysis further reveals that the SPFP algorithm outperforms benchmark models by large effect size and reduces computational demands through effective dimensionality reduction. The substantial effect sizes observed in most experiments underscore the algorithm's significant improvements in model performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계
Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes
우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.
데이터 기반 통신 마케팅 최적화: 머신러닝 기반 이탈 예측 및 고객 세분화 프레임워크
Data-Driven Telecom Marketing Optimization: A Machine Learning-Based Churn Prediction and Customer Segmentation Framework
고객 이탈은 통신사가 직면한 주요 과제로, 매출과 장기적인 고객 관계를 직접적으로 잠식한다. 기존 고객 유지 프로그램은 개인화되지 않은 일반적인 인센티브에 의존하며, 고객이 떠나기 전에 고위험 고객을 식별하는 정밀도가 부족하다. 본 논문은 머신러닝 기반 이탈 예측, 이탈 위험과 고객 가치를 결합한 고객 세분화, 그리고 세그먼트별로 맞춤화된 마케팅 및 투자 수익률(ROI) 전략을 통합한 데이터 기반 마케팅 최적화 프레임워크를 제시한다. 7,043명의 고객과 21개의 피처로 구성된 IBM Telco Customer Churn 데이터셋을 활용하여, XGBoost, LightGBM, CatBoost 세 가지 그래디언트 부스팅 앙상블 모델을 계층화된 5-폴드 교차 검증, 클래스 가중치 부여, F1 점수 기반 결정 임계값 최적화를 적용한 랜덤 탐색으로 학습 및 튜닝하였으며, 이를 통해 73.4% 대 26.6%의 클래스 불균형 문제에 대응하였다. CatBoost가 배포 모델로 선정되어 보류 테스트 세트에서 정확도 77.68%, F1 점수 0.6366, PR AUC 0.6553, ROC AUC 0.8403을 달성하였다. 고객은 K-Means 클러스터링으로 분할되었으며, 엘보우 방법으로 검증하고 주성분 분석(PCA)으로 시각화하여 고가치, 중가치, 저가치 세그먼트로 구분한 뒤, 이탈 위험 레이블과 교차 집계하여 네 가지 실행 가능한 클러스터를 정의하였다. 각 클러스터별 고객 유지, 업셀, 참여 전략이 설계되었으며, 이론적 ROI 및 고객 생애 가치(CLV) 프레임워크를 통해 제안된 개입의 재무적 영향을 정량화하였다. 파이프라인은 마케팅 팀이 데이터를 업로드하고 세그먼트별로 필터링하며 SHAP을 통해 이탈 요인을 시각화하고 자동화된 세그먼트 보고서를 다운로드할 수 있는 대화형 Streamlit 웹 애플리케이션으로 운영화되었다. 실험 결과, 예측적 이탈 모델링과 가치 인식 세분화를 결합하면 이탈 예측 단독 방식보다 더 실행 가능하고 수익성 높은 마케팅 의사결정이 가능함을 확인하였다.
Conditional Inference Trees and Forests for Feature Selection
커널 피셔 판별 분석 기반 트리 앙상블 분류기: KFDA Forest
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
일반적으로 앙상블 분류기는 단일 분류기보다 정확도가 높다. 본 연구에서는 KFDA를 적용한 트리 기반 앙상블 방법인 커널 피셔 판별 분석 포레스트(KFDA Forest)를 제안한다. 다양성을 높이기 위해 부트스트랩을 사용하며, 변수 집합을 무작위로 K개의 부분 집합으로 나눈다. 분류 정확도를 높이기 위해 각 부분 집합에 대해 KFDA를 수행한다. KFDA는 클래스 간 거리를 최대화하는 동시에 클래스 내 거리를 최소화한다. 또한 KFDA는 입력 공간을 커널 특징 공간으로 변환할 수 있어—이를 흔히 회전(rotation)이라 부르며, 차원 축소를 수행하는 것이 아니라—커널 트릭을 사용하여 비선형 데이터 구조의 분류 문제에도 적용할 수 있다. 새로운 특징 축과 KFDA 투영이 평행하기 때문에 기본 분류기로 결정 트리를 사용한다. 제안된 방법을 기존 앙상블 방법과 비교하기 위해 UCI 및 KEEL 저장소의 실제 데이터셋에 적용한다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
이종 심층 앙상블을 이용한 융합 없는 멀티모달 분류
Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles
멀티모달 분류에서 후기 융합(late-fusion) 방식은 단일 모달 신경망이 추출한 모달리티별 특징을 연결하여 분류한다. 모달리티 불균형이 뚜렷할 때는 학습 과정의 균형을 맞추고 후기 융합 네트워크의 낮은 성능을 극복하기 위한 다양한 정규화 기법이 제안되어 왔다. 이에 반해 본 연구는 단일 모달 네트워크의 심층 앙상블을 사용하면 명시적인 모달리티 융합 없이도 멀티모달 데이터를 효과적으로 분류할 수 있음을 보인다. 동일한 파라미터 수에서 심층 앙상블과 후기 융합 네트워크를 체계적으로 비교하여, 무작위 초기화로 훈련할 때 앙상블이 모달리티 불균형을 해결하도록 설계된 최신 후기 융합 방법을 일관되게 능가함을 보인다. 이러한 우위는 본 연구에서 평가한 중간 융합 기법과 단일 모달 및 멀티모달 분류기를 결합한 하이브리드 방법에 대해서도 유지된다. 계산 비용이 큰 완전 탐색을 피하면서 앙상블에서 모달리티별 모델 수를 선택하는 방법을 제안하고 실험적으로 검증한다. 극단적인 모달리티 불균형과 작은 앙상블 크기에서는 이 휴리스틱이 더 강한 모달리티만으로 훈련된 단일 모달 모델의 앙상블이 더 바람직함을 시사한다. 앙상블 규모가 커지면 더 약한 모달리티의 모델을 포함하는 것이 유익해진다. 두 예측 모두 본 연구의 실험 결과와 일치한다. 다만 앙상블 구성원의 다양성이 낮으면 이 휴리스틱은 신뢰성이 떨어진다. 멀티모달 모델 최적화의 어려움을 체계적으로 탐구하기 위해, 모달리티 수와 예측 강도를 모두 제어할 수 있는 합성 멀티모달 프레임워크를 제안한다. 본 연구의 결과는 합성 데이터셋과 실제 데이터셋 전반에서 일관된다. 마지막으로 이중 모달 데이터셋에 스케일링 법칙을 적합하여 앙상블의 점근적 성능을 추정한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.