PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.04603v4stat.AP

DRtool: 고차원 군집 분석을 위한 대화형 도구

DRtool: An Interactive Tool for Analyzing High-Dimensional Clusterings

새로운 데이터를 접할 때, 우리는 데이터의 구조와 데이터에 존재하는 전형적인(archetypical) 샘플들을 더 잘 이해하기 위해 군집 분석(cluster analysis)을 자주 수행합니다. 그러나 데이터의 복잡성과 차원이 증가함에 따라 이 과정은 매우 까다로워졌습니다. 고차원 데이터에 존재하는 높은 비율의 노이즈는 패턴과 경향성을 흐리게 만들어 군집을 구별하기 어렵게 합니다. 따라서 군집 탐색 도구 및 군집 검증 도구는 고차원 데이터의 이러한 어려움을 해결하도록 조정되어야 합니다. 비선형 차원 축소(nonlinear dimension reduction)는 올바른 방향으로 나아가는 단계이지만, 이러한 방법들조차 잘못 다뤄질 경우 거짓 구조(false structure)를 생성하는 것으로 알려져 있습니다. 훈련되지 않은 눈으로는 감지하기 어려운 흔한 현상 중 하나는 데이터의 과도한 군집화(over-clustering)입니다. 이러한 노력의 연장선으로, 우리는 분석가가 거짓 군집을 구별하고 고차원 군집화 결과를 더 잘 해석할 수 있도록 돕는 시각적 평가와 가설 검정을 포함한 새로운 군집 검증 기법을 개발했습니다. 사용 편의성을 위해 이러한 새로운 방법들은 R 패키지 DRTool을 통해 제공되는 대화형 툴박스로 제공됩니다.

arXiv:2607.20799v1cs.LG

동질성-간결성 트레이드오프에 의한 외부 클러스터링 검증

External Clustering Validation by the Homogeneity-Parsimony Trade-off

스칼라 지표는 알려진 클래스에 대해 클러스터링을 평가하는 데 자주 사용되지만, 클러스터링은 클래스 레이블에 대해 정보를 제공하면서 불필요한 분할을 피해야 한다는 근본적인 트레이드오프를 가릴 수 있다. 본 논문에서는 이러한 트레이드오프를 정량화하는 클러스터 동질성과 간결성의 정규화된 점수를 제시한다. 이 점수들은 손실 압축을 보상하지 않도록 수정된 정보 병목(information bottleneck) 원리에 기반한다. 예시와 수학적 증명을 통해, 관련 제안들과 달리 이러한 점수 정의가 클러스터 정제(refinement) 하에서 단조적으로 변하는 직관적인 성질을 갖음을 보인다. 섀넌 엔트로피(Shannon entropies)를 넘어 정보 이론적 프레임워크를 확장하여, 동질성 및 간결성 점수의 집합 매칭(set-matching) 및 쌍 기반(pair-based) 대응체를 추가로 도출한다. 이는 일반적으로 사용되는 평가 기준을 통합하며, 쌍 기반 설정에서 동질성-간결성 트레이드오프가 이진 분류기의 수신자 조작 특성(ROC, receiver operating characteristic)을 복원함을 보인다. 프레임워크의 특징 선택 및 알고리즘 비교에 대한 유용성을 시연하며, 점수를 공동으로 고려하는 것이 클러스터링 작동점(operating points)을 명확히 하고 파레토 최적(Pareto-optimal) 해법을 식별하는 방법을 보여준다.