Cluster Metric Sensitivity to Irrelevant Features
원문 초록
Clustering algorithms are used extensively in data analysis for data exploration and discovery. Technological advancements lead to continually growth of data in terms of volume, dimensionality and complexity. This provides great opportunities in data analytics as the data can be interrogated for many different purposes. This however leads challenges, such as identification of relevant features for a given task. In supervised tasks, one can utilise a number of methods to optimise the input features for the task objective (e.g. classification accuracy). In unsupervised problems, such tools are not readily available, in part due to an inability to quantify feature relevance in unlabeled tasks. In this paper, we investigate the sensitivity of clustering performance noisy uncorrelated variables iteratively added to baseline datasets with well defined clusters. We show how different types of irrelevant variables can impact the outcome of a clustering result from $k$-means in different ways. We observe a resilience to very high proportions of irrelevant features for adjusted rand index (ARI) and normalised mutual information (NMI) when the irrelevant features are Gaussian distributed. For Uniformly distributed irrelevant features, we notice the resilience of ARI and NMI is dependent on the dimensionality of the data and exhibits tipping points between high scores and near zero. Our results show that the Silhouette Coefficient and the Davies-Bouldin score are the most sensitive to irrelevant added features exhibiting large changes in score for comparably low proportions of irrelevant features regardless of underlying distribution or data scaling. As such the Silhouette Coefficient and the Davies-Bouldin score are good candidates for optimising feature selection in unsupervised clustering tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화
RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models
엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.
동질성-간결성 트레이드오프에 의한 외부 클러스터링 검증
External Clustering Validation by the Homogeneity-Parsimony Trade-off
스칼라 지표는 알려진 클래스에 대해 클러스터링을 평가하는 데 자주 사용되지만, 클러스터링은 클래스 레이블에 대해 정보를 제공하면서 불필요한 분할을 피해야 한다는 근본적인 트레이드오프를 가릴 수 있다. 본 논문에서는 이러한 트레이드오프를 정량화하는 클러스터 동질성과 간결성의 정규화된 점수를 제시한다. 이 점수들은 손실 압축을 보상하지 않도록 수정된 정보 병목(information bottleneck) 원리에 기반한다. 예시와 수학적 증명을 통해, 관련 제안들과 달리 이러한 점수 정의가 클러스터 정제(refinement) 하에서 단조적으로 변하는 직관적인 성질을 갖음을 보인다. 섀넌 엔트로피(Shannon entropies)를 넘어 정보 이론적 프레임워크를 확장하여, 동질성 및 간결성 점수의 집합 매칭(set-matching) 및 쌍 기반(pair-based) 대응체를 추가로 도출한다. 이는 일반적으로 사용되는 평가 기준을 통합하며, 쌍 기반 설정에서 동질성-간결성 트레이드오프가 이진 분류기의 수신자 조작 특성(ROC, receiver operating characteristic)을 복원함을 보인다. 프레임워크의 특징 선택 및 알고리즘 비교에 대한 유용성을 시연하며, 점수를 공동으로 고려하는 것이 클러스터링 작동점(operating points)을 명확히 하고 파레토 최적(Pareto-optimal) 해법을 식별하는 방법을 보여준다.
다변량 풍력 발전단 SCADA 데이터 필터링을 위한 군집 알고리즘
Clustering algorithms for multivariate wind farm SCADA data filtering
풍력 발전단 운전 중 감시 제어 및 데이터 수집(Supervisory Control and Data Acquisition, SCADA) 시스템은 수많은 이상(anomaly), 과도현상(transient), 특정 운전 모드를 기록하여 대규모 데이터셋을 생성한다. 그러나 다양한 응용 분야에서는 정상 운전에 해당하는 측정값만 필요하므로 SCADA 데이터를 필터링해야 한다. 이를 위해 전문가가 데이터를 시각적으로 검토하여 수행하는 수동 필터링을 자동화하고 대체하기 위한 여러 방법이 제안되었다. 본 논문에서는 수동 필터링과 여러 군집 알고리즘의 필터링 정확도를 비교하고, 라벨이 없는 데이터에 적합하며 잠재적 응용 분야 전반에 걸쳐 견고한 평가(evaluation) 지표를 도입한다. 결과를 바탕으로 서로 다른 데이터셋에 모델 보정을 일반화하는 방안에 대한 권고사항을 제시하고, 각 모델의 잠재적 활용 사례를 논의한다. 모델은 기존 해상 풍력 발전단의 3개 터빈 SCADA 데이터에 여러 데이터 채널에 걸친 10분 통계치를 사용하여 적용하였다. 일반적으로 기록되는 이상 및 운전 모드 외에도, 데이터셋은 여러 현장 시험(field test)으로 인해 뚜렷하지 않은(non-evident) 이상치(outlier)가 다수 존재한다. 전반적으로 결과는 특징 선택과 평가 지표 설계 모두에서 출력 곡선(power curve)을 넘어 분석을 확장하는 것의 중요성을 강조한다. 대부분의 경우 군집 기반 방법은 뚜렷한 이상치와 미묘한 이상치를 모두 검출할 수 있으며, 수동 필터링보다 높은 정확도를 달성한다. 그러나 정확도와 보존되는 데이터의 양은 모델에 따라 상당히 달라지며, 수동 필터링에 비해 줄어들긴 하지만 전문가의 개입은 여전히 필요하다.
효율적인 래퍼 기반 특징 선택을 통한 풍력·태양광 발전 예측 개선: 실증 연구
Improving Wind and Solar Power Prediction with Efficient Wrapper-based Feature Selection: An Empirical Study
전 세계 에너지 수요 증가와 기후 변화 및 그 영향에 대한 인식 확대에 따라, 재생 에너지가 전 세계 에너지 믹스에서 차지하는 비중은 계속 증가하고 있다. 기존 발전 방식과 달리, 재생 에너지원의 출력은 환경 조건에 대한 의존성 때문에 일관되게 제어할 수 없다. 따라서 현재 및 미래 에너지 생산을 신뢰성 있게 예측하는 것이 필수적이다. 본 논문에서는 실제 재생 에너지 예측 과제에 대한 두 가지 구조화된 문헌 검토의 결과를 보고한다: 풍력 터빈 출력 곡선 모델링과 광전(photovoltaic) 발전 예측. 전자에 대해서는 우리가 직접 포괄적인 문헌 검토를 수행하였고, 후자에 대해서는 기존 설문 조사를 바탕으로 자주 선택되는 입력 특징에 관한 핵심 발견 사항을 종합한다. 두 영역 모두에서, 우리의 분석은 이용 가능한 모니터링 및 환경 변수가 많음에도 불구하고 특징 선택을 위한 방법이 제한적이거나 체계적이지 않다는 것을 보여준다. 이 간극을 해소하기 위해, 우리는 재생 에너지 예측 파이프라인에서 자동적이고 효율적이며 신뢰할 수 있는 특징 선택을 위한 새로운 모델 불가지(model-agnostic) 클러스터링 기반 래퍼 방법인 클러스터 기반 순차 특징 선택(Cluster-based Sequential Feature Selection, CSFS)을 제안한다. 재현성과 재사용을 지원하기 위해 GitHub에 CSFS의 오픈소스 구현을 제공한다. 우리는 두 사용 사례에서 제안한 방법을 실증적으로 평가하고, 래퍼 기반 순차 특징 선택(SFS), 필터 기반 방법, Random Forest의 내장형(embedded) 특징 중요도와 같은 기존 특징 선택 기법과 비교한다. 결과는 래퍼 기반 방법이 전반적으로 더 우수한 성능의 특징 선택을 제공함을 보여준다. CSFS는 SFS와 유사한 예측 성능을 달성하면서 계산 비용을 평균 21% 감소시킨다.
Fast Adaptive K-Means Subspace Clustering for High-Dimensional Data
Deep sparse multi-task learning for feature selection in Alzheimer’s disease diagnosis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.