Multiple Kernel Clustering via Local Regression Integration
원문 초록
Multiple kernel methods less consider the intrinsic manifold structure of multiple kernel data and estimate the consensus kernel matrix with quadratic number of variables, which makes it vulnerable to the noise and outliers within multiple candidate kernels. This paper first presents the clustering method via kernelized local regression (CKLR). It captures the local structure of kernel data and employs kernel regression on the local region to predict the clustering results. Moreover, this paper further extends it to perform clustering via the multiple kernel local regression (CMKLR). We construct the kernel level local regression sparse coefficient matrix for each candidate kernel, which well characterizes the kernel level manifold structure. We then aggregate all the kernel level local regression coefficients via linear weights and generate the consensus sparse local regression coefficient, which largely reduces the number of candidate variables and becomes more robust against noises and outliers within multiple kernel data. Thus, the proposed method CMKLR avoids the above two limitations. It only contains one additional hyperparameter for tuning. Extensive experimental results show that the clustering performance of the proposed method on benchmark datasets is better than that of 10 state-of-the-art multiple kernel clustering methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공편도(coskewness) 기반 차원 축소를 활용한 투블록 클러스터링 트리: 구간별 다변량 선형 체제 복원
Twoblock clustering trees with coskewness-based dimension reduction: recovering piecewise multivariate linear regimes
다변량 반응변수를 위한 해석 가능성이 매우 높은 회귀 트리인 투블록 클러스터링 트리(twoblock clustering tree, \tbtree)를 소개합니다. 투블록 트리는 리프(leaf) 노드에 국소 다변량 선형 모델을 배치하고, 국소 리프 모델 및 불순도(impurity) 계산에 조밀(dense) 또는 희소(sparse) 투블록 차원 축소를 사용하는 결정론적 의사결정 트리입니다. 이를 통해 도출된 모델은 연산 효율성이 높으며 매우 뛰어난 해석력을 가질 수 있습니다. 본 추정기의 주요 목표는 데이터에 대한 해석 가능하고 체제(regime)에 정렬된 구간별 선형(piecewise-linear) 설명을 제공하는 것이며, 분할과 리프의 분리(split/leaf decoupling)를 통해 제약 조건으로서 예측 경쟁력을 유지합니다. 본 논문은 의사결정 트리 추정기 자체를 제안하는 것 외에도 공편도(coskewness) 극대화에 기반하여 데이터 내 비정규 클러스터 식별을 용이하게 하는 투블록 차원 축소 공간 추정기를 소개합니다. 이 트리는 본질적으로 국소 선형 모델들의 집합을 생성하므로 구간별 선형 체제를 복원하는 데 적합하며, 이는 시뮬레이션을 통해 입증됩니다. 아울러 두 가지 실제 데이터 예시를 통해 투블록 트리가 더 복잡한 비선형 의존성을 모델링할 수도 있으며, 랜덤 포레스트(random forests)와 같은 블랙박스 모델링 기법과 대등한 성능을 보일 수 있음을 보여줍니다. 각 단계에서 분할을 생성하는 투블록 모델과 리프에 있는 모델 모두를 직접 점검하고 해석할 수 있습니다.
시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합
Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.
HierarchicalDAEW: H&E 조직병리학으로부터 다중 섹션 공간 유전자 발현 예측을 위한 증거적 불확실성을 갖춘 도메인 인식 엣지 가중 그래프 합성곱
HierarchicalDAEW: Domain-Aware Edge-Weighted Graph Convolution with Evidential Uncertainty for Multi-Section Spatial Gene Expression Prediction from H&E Histology
공간 전사체학(spatial transcriptomics) 분석은 여전히 비용이 많이 들고 기술적으로 까다로워, 전사체 전체 프로파일링을 전문 환경에만 국한시키고 일상적인 임상 적용을 막고 있다. H&E 조직병리학으로부터 공간적으로 분해된 유전자 발현을 예측하면 이 격차를 메울 수 있지만, 현재 방법들은 대체로 기저 조직 구조를 무시하고 예측을 얼마나 신뢰할 수 있는지 거의 정량화하지 않는다. 우리는 HierarchicalDAEW를 제안하며, 이는 두 격차를 모두 해결하는 이중 그래프 아키텍처이다. spot 그래프에서는 도메인 인식 엣지 가중 합성곱 연산자가 Leiden 클러스터링에서 도출된 도메인 간, 도메인 내, 경계 엣지에 대해 별도의 투영을 학습하여, 모델이 조직 이질성을 암묵적 신호가 아니라 명시적 구조적 신호로 다루게 한다. 두 번째 유전자 수준 그래프는 STRING-DB의 단백질-단백질 상호작용 사전(prior)과 조직 특이적 공발현을 학습된 어텐션 게이팅으로 융합하여, 랜드마크 유전자 집합에서 더 넓은 유전자 패널로 예측을 전파한다. 신뢰성은 증거적 불확실성 추정(evidential uncertainty estimation)으로 처리되며, 동일한 조건에서 Monte Carlo 드롭아웃보다 훨씬 더 잘 보정된 신뢰구간을 산출한다. 유방, 대장, 전립선, 소뇌 조직에 걸친 6개의 human Visium 섹션과 13개의 공개 베이스라인을 대상으로 한 결과, HierarchicalDAEW는 실측 발현과 가장 강한 상관을 달성했으며, 다중 시드 재현성 검증과 위치적 지름길을 배제하는 음성 대조군에서도 이득이 유지된다. Ablation은 도메인 인식 엣지 유형화와 계층적 깊이가 모두 이 개선에 필요함을 추가로 확인했으며, 보정된 불확실성 추정은 임상 조치 전 병리의사 검토를 위해 낮은 신뢰도 예측을 식별한다.
ALS 진행 및 의료 서비스 이용 예측을 위한 시간적 머신러닝 기반 시간-이벤트 모델
A Temporal Machine Learning-Based Time-to-Event Model for Predicting ALS Progression and Healthcare Utilization
근위축성측索경화증(ALS)은 진행성이며 이질적인 신경퇴행성 질환으로, 보조 기기 사용과 같은 임상적으로 의미 있는 이정표를 예측하는 것은 여전히 어렵다. 우리는 종단적 ALS 기능 평가 척도-개정판(ALSFRS-R) 궤적과 생존 모델링(survival modeling)을 통합하여 기능 저하와 보조 기기 이용에 대한 개인화된 예측을 지원하는 시간-이벤트(time-to-event), 디지털 트윈(digital twin) 영감의 프레임워크를 개발했다. 진단 기록, ALSFRS-R 평가, 일상생활 활동, 인구통계학적 정보를 통합하여 조화된 종단 데이터셋을 구축한 뒤, 데이터 품질, 시간적 정렬, 코호트 일관성을 보장하기 위한 전처리를 수행했다. 상관 기반 클러스터링은 연하, 상지, 체간, 하지, 호흡계에 걸친 일관된 기능 영역을 식별했다. 일반화 가법 혼합 모델(generalized additive mixed models)은 모든 영역에서 비선형적이고 영역 특이적인 기능 저하를 특성화했다. 또한 종단적 기능 저하를 예측하고 단계 의존적 질병 진행을 포착하기 위해 시간적 머신러닝 모델을 개발했다. Cox 비례 위험 모델링(Cox proportional hazards modeling)은 또한 하지 기능, 특히 보행과 계단 오르기를 더 이른 휠체어 사용의 가장 강력한 예측 변수로 식별했다. 이러한 결과를 바탕으로, 개인화된 생존 곡선을 생성하고 휠체어 없이 생존하는 기간을 동적으로 예측하는 디지털 트윈 영감의 시간적 머신러닝 기반 시간-이벤트(TTE) 모델을 구현했다. 이 프레임워크는 ALS 진행을 개인화된 의사결정 지원과 연결하는 확장 가능하고 해석 가능하며 임상적으로 실행 가능한 접근법을 제공하며, 선제적 돌봄 계획, 임상시험 층화, 정밀 의학(precision medicine)에 적용할 수 있다.
효율적인 래퍼 기반 특징 선택을 통한 풍력·태양광 발전 예측 개선: 실증 연구
Improving Wind and Solar Power Prediction with Efficient Wrapper-based Feature Selection: An Empirical Study
전 세계 에너지 수요 증가와 기후 변화 및 그 영향에 대한 인식 확대에 따라, 재생 에너지가 전 세계 에너지 믹스에서 차지하는 비중은 계속 증가하고 있다. 기존 발전 방식과 달리, 재생 에너지원의 출력은 환경 조건에 대한 의존성 때문에 일관되게 제어할 수 없다. 따라서 현재 및 미래 에너지 생산을 신뢰성 있게 예측하는 것이 필수적이다. 본 논문에서는 실제 재생 에너지 예측 과제에 대한 두 가지 구조화된 문헌 검토의 결과를 보고한다: 풍력 터빈 출력 곡선 모델링과 광전(photovoltaic) 발전 예측. 전자에 대해서는 우리가 직접 포괄적인 문헌 검토를 수행하였고, 후자에 대해서는 기존 설문 조사를 바탕으로 자주 선택되는 입력 특징에 관한 핵심 발견 사항을 종합한다. 두 영역 모두에서, 우리의 분석은 이용 가능한 모니터링 및 환경 변수가 많음에도 불구하고 특징 선택을 위한 방법이 제한적이거나 체계적이지 않다는 것을 보여준다. 이 간극을 해소하기 위해, 우리는 재생 에너지 예측 파이프라인에서 자동적이고 효율적이며 신뢰할 수 있는 특징 선택을 위한 새로운 모델 불가지(model-agnostic) 클러스터링 기반 래퍼 방법인 클러스터 기반 순차 특징 선택(Cluster-based Sequential Feature Selection, CSFS)을 제안한다. 재현성과 재사용을 지원하기 위해 GitHub에 CSFS의 오픈소스 구현을 제공한다. 우리는 두 사용 사례에서 제안한 방법을 실증적으로 평가하고, 래퍼 기반 순차 특징 선택(SFS), 필터 기반 방법, Random Forest의 내장형(embedded) 특징 중요도와 같은 기존 특징 선택 기법과 비교한다. 결과는 래퍼 기반 방법이 전반적으로 더 우수한 성능의 특징 선택을 제공함을 보여준다. CSFS는 SFS와 유사한 예측 성능을 달성하면서 계산 비용을 평균 21% 감소시킨다.
Single-Document Summarization Using Sentence Embeddings and K-Means Clustering
토론
이 논문과 연결된 포럼 글이 아직 없습니다.