Can an unsupervised clustering algorithm reproduce a categorization system?
원문 초록
Peer analysis is a critical component of investment management, often relying on expert-provided categorization systems. These systems' consistency is questioned when they do not align with cohorts from unsupervised clustering algorithms optimized for various metrics. We investigate whether unsupervised clustering can reproduce ground truth classes in a labeled dataset, showing that success depends on feature selection and the chosen distance metric. Using toy datasets and fund categorization as real-world examples we demonstrate that accurately reproducing ground truth classes is challenging. We also highlight the limitations of standard clustering evaluation metrics in identifying the optimal number of clusters relative to the ground truth classes. We then show that if appropriate features are available in the dataset, and a proper distance metric is known (e.g., using a supervised Random Forest-based distance metric learning method), then an unsupervised clustering can indeed reproduce the ground truth classes as distinct clusters.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구
Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods
본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.
목표 기반 변형 범주화
Goal-driven Variant Categorization
프로세스 발견(process discovery)은 드물게 단일의 일관된 프로세스 구조를 산출한다. 분석을 위해 일반적인 단계는 구조적 유사성에 기반하여 프로세스 변형을 클러스터링한 뒤, 그렇게 얻은 그룹에 비즈니스적 의미를 부여하는 것이다. 이러한 분할은 조직의 목표에서 도출된 것이 아니므로, 분석가는 변형을 수동으로 해석하고 비즈니스적으로 의미 있는 범주로 통합해야 한다. 변형의 수와 복잡성이 커질수록 이 판단 집약적 단계는 점점 더 어려워진다. 본 논문에서는 이러한 워크플로를 뒤집는 목표 기반 변형 범주화 접근법을 제안한다. 먼저 범주화 축을 사전에 정의하는 조직의 목표 모델(goal model)을 작성한다. 각 변형은 그 동작을 설명하는 텍스트 서술로 변환되고, 대규모 언어 모델(LLM)이 목표 모델의 맥락에서 이를 해석하여 변형을 가장 적절한 범주에 할당한다. LLM 기반 의미론적 추론은 저수준 프로세스 동작과 분석가가 정의한 비즈니스 목표를 연결한다. 이 접근법을 종단(end-to-end)으로 구현하고, 규모와 행동 다양성에서 실질적으로 다른 세 개의 공개 로그에 대해 평가한다. 목표 모델 가이던스는 무방향 귀납(unguided induction)으로 생성된 분할과 다른 분할을 산출하며, 선언된 대안에 대한 통제된 수정에 반응하지만, 목표 모델을 작성해야 한다는 비용이 따른다.
AI4PLE: Product Line Engineering에 AI를 통합하기 위한 방법론
AI4PLE: A Methodology for Integrating AI into Product Line Engineering
재사용 기반 개발은 복잡한 시스템 구축에서 점점 더 중요해지고 있으며, 비용 절감, 품질 향상, 시장 출시 시간 단축에 상당한 기회를 제공한다. 제품군 공학(Product Line Engineering, PLE)은 공유 자산과 역량을 재사용하여 제품군의 효율적인 생성, 관리, 맞춤화를 가능하게 함으로써 이러한 잠재력을 실현하기 위한 체계적인 접근법을 제공한다. PLE는 특징 선택, 가변성 관리, 구성 최적화 등 제품군의 성공에 핵심적인 수많은 복잡한 의사결정을 다룬다. 그럼에도 불구하고 PLE 프로세스에 인공지능(AI)을 체계적으로 통합하는 것은 아직 포괄적으로 탐구되지 않았다. 본 논문에서는 PLE에 AI를 체계적으로 통합하기 위한 방법론적 프레임워크를 제안하고, 산업 현장에서 수행한 다중 사례 연구를 통해 그 효과를 평가한다.
Fast Adaptive K-Means Subspace Clustering for High-Dimensional Data
Deep sparse multi-task learning for feature selection in Alzheimer’s disease diagnosis
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
토론
이 논문과 연결된 포럼 글이 아직 없습니다.