arXiv:2309.05751

Compressive Mahalanobis Metric Learning Adapts to Intrinsic Dimension

Efstratios Palias, Ata Kabán

제출 2023-09-11

원문 초록

Metric learning aims at finding a suitable distance metric over the input space, to improve the performance of distance-based learning algorithms. In high-dimensional settings, it can also serve as dimensionality reduction by imposing a low-rank restriction to the learnt metric. In this paper, we consider the problem of learning a Mahalanobis metric, and instead of training a low-rank metric on high-dimensional data, we use a randomly compressed version of the data to train a full-rank metric in this reduced feature space. We give theoretical guarantees on the error for Mahalanobis metric learning, which depend on the stable dimension of the data support, but not on the ambient dimension. Our bounds make no assumptions aside from i.i.d. data sampling from a bounded support, and automatically tighten when benign geometrical structures are present. An important ingredient is an extension of Gordon's theorem, which may be of independent interest. We also corroborate our findings by numerical experiments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27074v1cs.CY공통 태그 Dimensionality Reduction, Metric Learning

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2605.20689v2cs.CL공통 태그 Dimensionality Reduction, Metric Learning

DIVE: 자기 제한 그래디언트 업데이트를 통한 임베딩 압축

DIVE: Embedding Compression via Self-Limiting Gradient Updates

고차원 언어 모델 임베딩은 저장 및 검색 비용을 증가시키지만, 지도 학습 압축기는 관련성 레이블이 부족할 때 과적합될 수 있다. 본 논문에서는 DIVE(Dimensionality reduction with Implicit View Ensembles)를 제안한다. DIVE는 자기 제한(self-limiting) 힌지 손실, 기하학적 지식 증류(geometry distillation), 암시적 좌표 뷰에 대한 헤드별 NT-Xent와 함께 공동 설계된 잔차(residual) 압축 어댑터이다. 힌지 손실은 이미 만족된 순위(ranking) 제약에 대한 업데이트를 중단하고, 밀집(dense) 목적 함수는 압축된 표현을 안정화한다. 추론 시에는 첫 번째 헤드만 유지된다. 쿼리 비중복(query-disjoint) 평가에서 두 개의 LLM2Vec 백본, 다섯 개의 BEIR 벤치마크, 128차원 및 256차원 출력, 여섯 개의 베이스라인을 사용한 결과, DIVE는 다섯 개의 주요 벤치마크 모두에서 가장 강력한 어댑터이다. 또한 비지도(unsupervised) 압축기와의 비교에서 PCA 및 오토인코더(autoencoder)보다 우수한 성능을 보였다.

arXiv:2606.18520v1stat.ML공통 태그 Dimensionality Reduction, Metric Learning

계층 구조의 압축된 기하학적 표현

Compact Geometric Representations of Hierarchies

데이터의 기하학적 표현을 계산하는 것은 현대 머신러닝의 핵심 요소로, 일반적으로 쿼리와 문서를 공유 임베딩 공간으로 매핑하는 듀얼 인코더를 학습시켜 달성됩니다. You et al. [NeurIPS '25]의 최근 연구는 이 접근 방식을 계층적 검색으로 확장했는데, 여기서 관련성은 방향성 비순환 그래프(DAG) 내의 조상-자손 관계에 의해 결정됩니다. 이전 연구는 자손의 수가 적을 때 유효한 임베딩이 존재함을 보였지만, 깊은 계층 구조에서는 이러한 경계가 크게 악화되어 전체 노드 수만큼 큰 차원이 필요합니다. 본 논문에서는 더 일반적인 그래프 클래스에 대한 압축된 도달 가능성 임베딩을 조사하고, 그래프 구조 매개변수에 의존하는 차원을 가진 임베딩을 사용하여 계층 구조를 표현하기 위한 이론적 보장을 제공합니다. 우리는 모든 방향성 트리에 대해 트리의 크기나 깊이와 무관하게 차원 3의 도달 가능성 임베딩이 존재함을 증명합니다. 우리는 이 결과를 트리 너비(treewidth) $t$로 특징지어지는 그래프로 일반화하여, $n$이 노드의 수일 때 차원 $O(t \log n)$의 임베딩을 구성합니다. 이러한 상한(upper bounds)을 보완하여, 일반적인 DAG에는 차원 $\Omega(n)$이 필요하고 트리 너비 $t$를 가진 그래프에는 $\Omega(t/\log(n/t))$가 요구됨을 보여주는 일치하거나 거의 일치하는 하한(lower bounds)을 제공합니다. 또한 DAG 내의 교차 엣지(cross-edges) 수에 따라 매개변수화된 상한과 하한도 도출합니다. 또한 우리의 임베딩이 실제 데이터셋에서 구성될 수 있음을 보이며, 이론적 보장이 있는 기존 임베딩과 비교할 때 높은 재현율(high recall) 영역에서 훨씬 더 작은 차원을 제공함을 보여줍니다.

arXiv:2607.14821v2cs.CV공통 태그 Metric Learning

모달 경계의 흐림: 단일 모달에서 다중 모달 인물 재식별(ReID)에 대한 통합 서벡

Blurring Modal Boundaries: A Unified Survey from Single- to Multi-Modal Person Re-ldentification

인물 재식별(ReID)은 지능형 감시 시스템의 핵심 구성 요소로, 분리된 카메라 네트워크 간 신원을 매칭하는 것을 목표로 한다. 전통적인 방법은 주로 단일 모달 RGB 영상에 의존하지만, 낮은 조도와 가림(occlusion)과 같은 환경적 도전 과제에 종종 제약을 받는다. 이러한 한계를 극복하기 위해 해당 분야는 교차 모달(cross-modal) 및 다중 모달(multi-modal) 패러다임으로 빠르게 발전하고 있다. 본 서벡은 이러한 전환에 대한 포괄적인 개요를 제시하며, 직접 가시성을 넘어 지각을 확장하는 신흥 비시선(NLOS, Non-Line-of-Sight) ReID를 포함하여 가시-적외선(VI-ReID), 텍스트-이미지(TI-ReID), 스케치 기반(Sketch-ReID) 등 주요 교차 모달 과제를 체계적으로 검토한다. 또한 3분광(tri-spectral) 및 다중 모달 융합 ReID를 살펴보고, 다양한 센서의 상보적 정보가 어떻게 견고성(robustness)을 향상시키는지 논의한다. 데이터셋, 과제, 방법론을 요약하는 것을 넘어, 모달리티 불변(modality-invariant) 특징을 효과적으로 포착하도록 설계된 가시-적외선 ReID용 트랜스포머 기반 기준선 프레임워크를 제안한다. 마지막으로, 현재 연구 환경을 바탕으로 향후 연구를 위한 여러 유망한 방향을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.