Inference with K-means
원문 초록
This thesis aims to invent new approaches for making inferences with the k-means algorithm. k-means is an iterative clustering algorithm that randomly assigns k centroids, then assigns data points to the nearest centroid, and updates centroids based on the mean of assigned points. This process continues until convergence, forming k clusters where each point belongs to the closest centroid. This research investigates the prediction of the last component of data points obtained from a distribution of clustered data using the online balanced k-means approach. Through extensive experimentation and analysis, key findings have emerged. It is observed that a larger number of clusters or partitions tends to yield lower errors while increasing the number of assigned data points does not significantly improve inference errors. Reducing losses in the learning process does not significantly impact overall inference errors. Indicating that as learning is going on inference errors remain unchanged. Recommendations include the need for specialized inference techniques to estimate better data points derived from multi-clustered data and exploring methods that yield improved results with larger assigned datasets. By addressing these recommendations, this research advances the accuracy and reliability of inferences made with the k-means algorithm, bridging the gap between clustering and non-parametric density estimation and inference.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 매니폴드 클러스터링을 위한 미니맥스 비율과 개선된 스펙트럴 수렴
Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering
본 연구는 매니폴드들이 서로 교차할 수 있는 다중 매니폴드 혼합 분포(multi-manifold mixture distribution)로부터 독립적으로 추출된 $n$개의 데이터 점을 이용하여, 텐서화된(tensorized) 밀도 가중(density-weighted) 라플라스-벨트라미(Laplace-Beltrami) 연산자의 고유쌍(eigenpair) 추정 문제를 다룬다. $d$를 매니폴드 구성 요소들 중 가장 큰 고유 차원(intrinsic dimension)으로, $s\geq2$를 샘플링 밀도의 평활성(smoothness)으로 정의한다. 단순(simple)하고 자명하지 않은(nontrivial) 고유쌍에 대해, 텐서화된 라플라스-벨트라미 연산자의 고유값과 고유함수를 근사하는 미니맥스 비율(minimax rate) $n^{-s/(d+2s)}$를 수립하고, 지지 매니폴드(supporting manifold)가 알려져 있을 때 커널 밀도 추정(kernel density estimation)에 기반한 연속체 플러그인(plug-in) 추정량이 동일한 비율을 달성함을 보인다. 더 나아가 매니폴드에 구애받지 않는(manifold-agnostic) 그래프 라플라시안(graph Laplacian) 추정량을 분석하여, 그 고유쌍이 로그 인자(logarithmic factor)를 제외하고 비율 $n^{-1/(2.5d-1)}$로 텐서화된 라플라스-벨트라미 연산자의 고유쌍에 수렴함을 증명하며, 이는 다중 매니폴드 학습(multi-manifold learning)에 대해 기존에 알려진 스펙트럴 수렴 비율을 개선한 것이다. 합성 다중 매니폴드 데이터에 대한 수치 실험은 본 정리들이 보장하는 비율을 뒷받침한다. 이러한 결과들은 다중 매니폴드 스펙트럴 추정의 정보 이론적 난이도를 규명하며, 오라클(oracle) 구성 요소 정보 없이 학습할 때 발생하는 추가적인 비용을 정량화한다.
모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.
확산 모델과 개념 형성
Diffusion Models and Concept Formation
인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.
SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계
SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
비대칭 쌍선형 요인 분석기의 절약적 혼합 모형
Parsimonious Mixtures of Skewed Bilinear Factor Analyzers
비대칭 무작위 행렬을 군집화하는 혼합 모형은 차원 축소를 수행하지 않을 경우 과매개변수화 문제를 자주 겪을 수 있다. 쌍선형 요인 분석기를 사용하더라도, 군집 간 매개변수에 제약을 가함으로써 추가적인 매개변수 축소를 달성할 수 있다. 본 원고에서는 비대칭 행렬 변량 쌍선형 요인 분석기 혼합 모형에 대한 256개 모형으로 구성된 절약적 모형군을 제안하며, 특히 skew-t 분포의 경우를 다룬다. 매개변수 추정을 위한 AECM 알고리즘이 상세히 논의된다. 또한 광범위한 시뮬레이션이 수행되었으며, 본 방법은 MNIST 데이터셋과 Olivetti faces 데이터셋에 적용된다.
계층적 베이지안 모델에서 혼합 가중치의 사후 분포 정확 계산
Exact computation of posterior distribution of mixture weights in hierarchical Bayesian models
계층적 혼합 모델(hierarchical mixture model)은 이질적 원천에서 생성된 데이터를 모델링하는 강력한 도구로, 특히 혼합 비율 $\boldsymbol{w}$ 자체가 Dirichlet 또는 Beta-Liouville 사전 분포를 가진 확률 변수로 취급될 때 더욱 유용하다. 이러한 모델은 클래스 소속이나 데이터 생성 과정의 불확실성을 확률적으로 정량화해야 하는 시나리오에서 널리 활용된다. 본 논문은 혼합 가중치의 정확한 주변화(marginalization)를 연구한다. 2-성분 경우에 대해 주변 가능도(marginal likelihood)를 위한 $O(n^2)$ 동적 프로그램과 $O(n \log^2 n)$ FFT 변형을 제시하고, 가중치의 정확한 사후 분포가 Beta 분포들의 유한 혼합임을 보임으로써 샘플링 없이 닫힌 형식의 사후 요약, 신뢰 구간, 관측치별 국소 위발견율(local false-discovery rate)을 제공한다. $K \ge 3$ 성분의 경우 정확한 결합 동적 프로그램을 제시한다. 이 방법이 설계된 소표본 영역에서 효과가 가장 크다: 실제 다층 메타 분석, 백혈병 유전자 발현의 경로 수준 이상조절 분석, 정답이 알려진 백혈병 유래 유전자 패널 벤치마크에서, 신호 비율에 대한 정확한 구간은 EM이 구간을 전혀 제공하지 못하는 경우(경계로 붕괴)와 가우시안/라플라스 근사가 포함율을 잘못 추정하는 경우에도 보정되어 있으며, 동등한 정확도의 샘플러보다 두 자릿수 빠르다. 대규모 전립선암 벤치마크에서는 모든 방법이 충분한 데이터를 보유하므로, 귀무 비율에 대한 사후 구간을 추가하면서도 유전자 순위에서 locfdr과 일치하는 결과를 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.