비등방성이 텍스트 임베딩의 코사인 대 순위 지표를 결정한다
Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings
한국어 초록
두 텍스트 임베딩을 비교하는 표준 방법은 코사인 유사도이다. 일부 연구들은 다른 지표가 더 나은 성능을 보인다고 보고하지만, 언제, 왜 그런지를 결정하는 기하학적 조건을 명확히 밝히지는 못했다. 우리는 포괄적인 실증 연구를 통해 두 가지 모두를 규명한다: 7개 데이터셋에 걸쳐, 소형 문장 트랜스포머부터 70억 매개변수 대규모 언어 모델까지 19개 인코더에 대해 19개의 매개변수 없는 유사도 지표를 평가하였다. 답은 기하학적이다. 인코더가 분산을 모든 방향에 고르게 분포시키는 경우, 코사인이 최선의 매개변수 없는 선택이며 어떤 다른 지표도 실용적인 마진 차이를 보이지 않는다. 분산이 소수의 지배적인 방향으로 집중되는 경우, 즉 비등방성(anisotropy)으로 알려진 특성이 있는 경우, 순위 기반 및 L1형 지표가 코사인보다 명확한 마진으로 우수하다. 절대적인 성능 향상은 크지 않지만, 해당 인코더에서 코사인이 낮은 값에서 출발하기 때문에 상대적 개선은 상당하며, 평균 약 20%이고 코사인이 가장 약한 경우에 가장 크다. 이를 결정하는 것은 임베딩 공간의 기하학적 특성이지 모델의 학습 방식이 아니다: 두 가지가 서로 다른 결과를 보이는 경우, 지표는 기하학을 따른다. 단일 지배 차원이 보유하는 분산의 비율이라는 하나의 수치가, 19개 전체 인코더에 걸쳐 대안 지표들이 얼마나 도움이 되는지를 순위 상관관계 0.86, 선형 상관관계 0.95로 예측한다. 이것이 단순한 상관관계가 아닌 원인임을 검증하기 위해 지배적인 방향들을 투영하여 제거하였더니, 코사인은 회복되고 다른 지표들의 이점은 거의 사라졌으나, 이는 처음부터 비등방성이었던 인코더에서만 나타났다. 이 효과는 크기 기반이 아닌 방향성에 기반한 것으로, 모든 벡터를 단위 길이로 정규화해도 유지된다. 따라서 매개변수 없는 지표들 중에서, 코사인은 인코더가 잘 분산되어 있는 경우라면 올바른 도구이며, 이는 검색에 흔히 배포되는 파인튜닝된 임베더를 포함한다. 또한 코사인이 적합하지 않은 경우를 판별하기 위한 단일 수치 진단법을 제시한다.
원문 초록
The standard way to compare two text embeddings is cosine similarity. Scattered studies report that a different metric does better, but never pin down the geometric condition that decides when, or why. We settle both with a comprehensive empirical study: nineteen parameter-free similarity metrics on nineteen encoders, from compact sentence transformers up to seven-billion-parameter large language models, across seven datasets. The answer is geometric. When an encoder spreads its variance evenly across directions, cosine is the best parameter-free choice and no other metric helps by a usable margin. When the variance concentrates into a few dominant directions, a property known as anisotropy, rank-based and L1-type metrics beat cosine by a clear margin. The absolute gain is modest, but because cosine starts low on these encoders it is a sizable relative improvement, around twenty percent on average and largest where cosine is weakest. What decides this is the geometry of the embedding space, not how the model was trained: where the two disagree, the metric follows the geometry. One number, the fraction of variance held by the single most dominant dimension, predicts how much the alternatives help across all nineteen encoders, with a rank correlation of 0.86 and a linear correlation of 0.95. To test this as the cause rather than a correlate, we project out the dominant directions: cosine recovers and the advantage of the other metrics nearly vanishes, but only on the encoders that were anisotropic to begin with. The effect is directional, not magnitude based, since it survives normalizing every vector to unit length. Among parameter-free metrics, then, cosine is the right tool wherever an encoder is well spread, which includes the fine-tuned embedders commonly deployed for retrieval, and we give a one-number diagnostic for when it is not.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29571v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
손실 압축 텍스트 오토인코더
Lossy Compressive Text Autoencoders
본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.
전자상거래 검색에서 페이지 수준 레이아웃 결정을 위한 언어 모델
Language Models for Page-Level Layout Decisions in E-commerce Search
전자상거래(E-commerce) 검색 페이지는 수백만 명의 온라인 쇼핑객에게 중요한 접점입니다. 전통적인 검색 엔진은 순위가 매겨진 검색 결과 목록을 반환하는 반면, 최신 전자상거래 검색 페이지는 특정 위치에 대안적 상품 그룹을 노출하는 보조 스택(secondary stack)과 같은 추천 시스템 모듈을 점차 더 많이 통합하고 있습니다. 적절하게 도입될 경우 보조 스택은 사용자 참여도를 향상시킬 수 있지만, 최적화되지 않은 배치는 탐색 흐름을 방해하고 주요 검색 결과를 저하시킬 수 있습니다. 인터리빙(interleaving)과 같은 평가 기법이 잘 정립되어 있는 전통적인 검색 랭킹과 달리, 특정 위치와 시점에 보조 스택을 삽입하는 것과 같은 페이지 수준의 레이아웃 변경을 평가하는 것은 비용이 많이 드는 온라인 A/B 테스팅 없이는 여전히 어려운 과제입니다. 이를 해결하기 위해, 본 연구에서는 특정 위치에 보조 스택을 포함하는 것과 같은 주어진 레이아웃 결정이 사용자에게 유익한지 여부를 평가하기 위한 오프라인 방법을 연구합니다. 저자들은 직접적인 프롬프트(prompt) 기반 방식, 프롬프트에서 유도된 특징(feature) 방식, 표현(representation) 기반 방식을 비교하여 확장 가능한 평가자로서 언어 모델을 조사합니다. 실험 결과, 사용자 참여도를 예측하는 데 있어 표현 기반 접근 방식이 프롬프트 기반 평가보다 일관되게 우수한 성능을 보였으며, 이는 해당 방식이 전자상거래 검색에서 오프라인 레이아웃 평가를 위한 신뢰할 수 있는 기반을 제공함을 시사합니다.
중요한 것을 실현하기: 대규모 추론을 위한 원칙 기반 컨텍스트 표현
Realize What Matters: Principled Context Representation for Large-Scale Reasoning
과학, 의학, 법률, 금융 등의 영역에서 복잡한 과제를 해결하려면 종종 모델의 컨텍스트 한계를 훨씬 넘어서는 광대하고 이질적인 출처에 흩어진 상호 의존적인 정보를 조합해야 한다. 기존 접근법은 그래프, 텍스트 메모리, 검색 컬렉션 등 모델이 추론할 수 있는 더 다루기 쉬운 표현으로 정보를 구성하여 이 과제에 대응한다. 이러한 표현은 어떤 후속 추론이 가능한지, 궁극적으로 성공 여부를 좌우하지만, 그 설계와 구축은 대체로 임의적(ad hoc)으로 이루어진다. 본 연구에서는 관련성 실현(relevance realization)의 인지 이론에 기초하여, 매우 큰 컨텍스트의 효과적인 표현을 구성하는 AI 시스템 설계를 위한 구체적 원칙을 제안한다. 기존 접근법을 분석하고 그 성공과 실패가 이러한 원칙과의 정렬(alignment)에 어떻게 대응되는지 보이며, 원칙을 보다 체계적으로 실행 가능하게 하도록 설계된 하네스 R3Con을 소개한다. R3Con을 대규모 문서 코퍼스에 대한 추론을 다룬 최근 벤치마크 두 개에서 아홉 개의 최신 기준선과 비교 평가한다. 이 벤치마크에서 R3Con은 가장 강한 기준선보다 각각 20 및 8.4 퍼센트포인트만큼 크게 우수한 성능을 보인다. 또한 더 작은 모델이 훨씬 큰 모델보다 나은 성능을 내도록 한다: 4B 및 9B 모델을 사용한 R3Con은 평가된 모든 35B 기준선을 능가하고, 35B-A3B 모델을 사용한 R3Con은 Claude-Sonnet-5를 사용한 Claude Code보다 3.7배 낮은 비용으로 더 나은 성능을 보인다. 결과는 우리의 원칙적 접근을 따르는 컨텍스트 표현이 모델 규모에 대한 의존을 줄일 수 있음을 보여주며, 더 작은 모델로 구동되는 프론티어 수준 성능의 AI 시스템의 미래를 가리킨다. 코드는 https://github.com/michaeltheologitis/r3con 에서 제공된다.
TEMPS: 시계열 정보 검색을 위한 시간적 문장 임베딩
TEMPS: Temporal Sentence Embeddings for Temporal Information Retrieval
현대 정보 검색(IR) 시스템은 시간을 거의 표현하지 못하지만, 많은 정보 요구는 시간에 의존합니다. 임상, 저널리즘, 법률 검색 등에서는 사건이 언제 발생했는지가 문서의 관련성 여부를 결정할 수 있습니다. 밀집 검색기(dense retriever)와 검색-증강 생성(RAG) 파이프라인은 주제 측면에서는 질의와 문서를 잘 매칭하지만 시간 측면에서는 제대로 매칭하지 못하여, 주제에는 부합하지만 시간적으로는 잘못된 콘텐츠를 표출합니다. 본 논문에서는 두 개의 기준 시점이 지정된 텍스트가 주제적 유사성과 무관하게 시간상으로 얼마나 잘 일치하는지를 측정하는 과제인 시간적 텍스트 유사도(TTS, Temporal Textual Similarity)를 소개합니다. 이어서 고정된(frozen) 의미론적 검색기에 부착되어 해당 신호를 바탕으로 학습하는 모듈형 시간 브랜치인 TEMPS(Temporal Embedding Model for Precise Search)를 제안합니다. 이는 기준 시점이 지정된 시간 표현을 구간(interval)으로 해소(resolve)하고 각각을 가우시안에 모멘트 매칭(moment-match)합니다. 여기서 도출된 순서는 기준 날짜 조건부 인코더를 지도(supervise)하며, 이 인코더의 점수는 추론 시 의미론적 점수와 융합됩니다. 그라운딩(grounding)이 지도 신호를 제공하므로 학습에 수작업으로 라벨링된 시간 데이터를 사용하지 않습니다. 시간 점수 자체는 분포 임베딩의 가우시안-KL 포함 측정(Gaussian-KL inclusion measure)이며, TEMPS가 추가하는 것은 그라운딩과 모멘트 매칭된 지도 신호입니다. 세 가지 시간 벤치마크에서 TEMPS는 테스트된 모든 의미론적 백본의 MRR을 향상시켰으며, TS-Retriever에서는 기존 시간적 SOTA 대비 R@1을 19.92에서 25.39로 끌어올렸습니다.
초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구
Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods
본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.