arXiv:1512.00001

k-Nearest Neighbour Classification of Datasets with a Family of Distances

Stan Hatko

제출 2015-11-29

원문 초록

The $k$-nearest neighbour ($k$-NN) classifier is one of the oldest and most important supervised learning algorithms for classifying datasets. Traditionally the Euclidean norm is used as the distance for the $k$-NN classifier. In this thesis we investigate the use of alternative distances for the $k$-NN classifier. We start by introducing some background notions in statistical machine learning. We define the $k$-NN classifier and discuss Stone's theorem and the proof that $k$-NN is universally consistent on the normed space $R^d$. We then prove that $k$-NN is universally consistent if we take a sequence of random norms (that are independent of the sample and the query) from a family of norms that satisfies a particular boundedness condition. We extend this result by replacing norms with distances based on uniformly locally Lipschitz functions that satisfy certain conditions. We discuss the limitations of Stone's lemma and Stone's theorem, particularly with respect to quasinorms and adaptively choosing a distance for $k$-NN based on the labelled sample. We show the universal consistency of a two stage $k$-NN type classifier where we select the distance adaptively based on a split labelled sample and the query. We conclude by giving some examples of improvements of the accuracy of classifying various datasets using the above techniques.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.06665v4cs.LG공통 태그 LEMMA공식 코드 · Papers with Code

기약 표현의 관점에서 재조명한 다중 치환 등변성

Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations

본 논문은 치환 및 관련 군(group)의 표현에 대한 등변(equivariant) 선형 레이어의 특성화를 탐구합니다. 매개변수 공유(parameter-sharing)를 통해 이러한 문제를 다루는 전통적인 접근법과 달리, 본 연구에서는 기약 표현(irreducible representation)과 슈어의 보조정리(Schur's lemma)에 기반한 대안적 방법론을 고려합니다. 이 방법론을 사용하여 DeepSets, 2-IGN 그래프 등변 네트워크, 딥 가중치 공간(DWS, Deep Weight Space) 네트워크와 같은 기존 모델에 대한 대안적 유도를 도출합니다. DWS 네트워크에 대한 유도는 기존 결과에 비해 훨씬 간단합니다. 나아가, 군의 화환곱(wreath product)에 대한 등변성이 요구되는 비정렬 대칭 집합으로 접근법을 확장합니다. 이전 연구들은 거의 모든 화환 등변 레이어가 샴(Siamese) 구조를 갖는 다소 제한적인 환경에서 이 문제를 다루었습니다. 이와 대조적으로, 본 논문에서는 이러한 경우의 레이어에 대한 완전한 특성화를 제시하며 일부 환경에서는 방대한 수의 추가적인 비-샴(non-Siamese) 레이어가 존재함을 보입니다. 또한 이러한 추가 비-샴 레이어가 그래프 이상치 탐지, 가중치 공간 정렬, 바세르슈타인 거리(Wasserstein distance) 학습과 같은 태스크에서 성능을 향상시킬 수 있음을 실증적으로 보여줍니다. 코드는 \href{https://github.com/yonatansverdlov/Irreducible-Representations-of-Deep-Weight-Spaces}{GitHub}에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.