PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2504.16318v3cs.LG

각도로 본 의미론: 코사인 유사도가 통할 때와 통하지 않을 때

Semantics at an Angle: When Cosine Similarity Works Until It Doesn't

코사인 유사도는 정보 검색, 자연어 처리(NLP), 컴퓨터 비전(CV), 멀티모달 학습에서 학습된 표현을 비교하는 표준 규칙이다. 그 인기에는 타당한 근거가 있다. 양의 방사 스케일을 제거하고, 계산상 편리하며, 종종 정규화된 임베딩을 학습하는 목적 함수와 잘 맞기 때문이다. 그러나 이러한 특성은 동시에 코사인이 표현할 수 있는 범위의 한계를 정한다. 정규화는 방사 방향의 변화를 버리고, 이방성 표현은 각도 대비를 압축할 수 있으며, 고차원 이웃에서는 허브가 형성될 수 있고, 대칭적이고 보정되지 않은 점수는 관심 대상 관계와 맞지 않을 수 있다. 본 글은 단순한 원칙을 중심으로 구성된 선별적 리뷰를 제공한다. 코사인 유사도의 유용성은 학습된 표현, 정규화나 후처리, 점수 규칙, 하류 의사결정이 함께 좌우한다. 우리는 주요 기하학적 항등식을 유도하고, 흔히 혼동되는 실패 메커니즘을 구분하며, 임베딩 노름에 관한 대표적 증거를 검토하고, 목적 함수에 맞춘, 기하학 인식, 허브성 인식, 노름 인식, 학습 기반 대안들을 기술한다. 핵심 결론은 적대적이기보다 조건부이다. 코사인의 양의 스케일 불변성은 방사 변화가 방해 요인이거나 표현 계약에 의해 고정될 때 정당화되지만, 각도 기하학과 하류 의사결정은 여전히 검증되어야 한다.

arXiv:2606.28330v1cs.IR

High-Dimensional Concentration and Retrieval Instability in Embedding Spaces: Implications for Retrieval-Augmented Generation

Embedding-based retrieval systems rely on the assumption that geometric proximity in highdimensional representation spaces reflects semantic relevance. However, high-dimensional geometry induces concentration phenomena that can reduce the discriminative power of similarity measures and can destabilize nearest-neighbor retrieval. This work studies distance concentration, cosine concentration, contrast collapse, hubness, and retrieval instability through controlled numerical experiments across multiple synthetic distributions. The results show that similarity signals progressively lose contrast as dimension increases, leading to unstable retrieval behavior and structural bias in nearest-neighbor selection. A simplified Retrieval-Augmented Generation experiment further suggests that these effects can degrade grounding reliability upstream of generation. These findings motivate geometry-aware diagnostics and robustness-oriented retrieval strategies for embedding-based AI systems. The experiments are intentionally synthetic in order to isolate intrinsic geometric effects. High-dimensional embedding space Distance and cosine concentration Score-gap collapse and hubness Retrieval instability under perturbations Weak or incomplete retrieved context Potential degradation of grounding 1.