비등방성이 텍스트 임베딩의 코사인 대 순위 지표를 결정한다
Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings
두 텍스트 임베딩을 비교하는 표준 방법은 코사인 유사도이다. 일부 연구들은 다른 지표가 더 나은 성능을 보인다고 보고하지만, 언제, 왜 그런지를 결정하는 기하학적 조건을 명확히 밝히지는 못했다. 우리는 포괄적인 실증 연구를 통해 두 가지 모두를 규명한다: 7개 데이터셋에 걸쳐, 소형 문장 트랜스포머부터 70억 매개변수 대규모 언어 모델까지 19개 인코더에 대해 19개의 매개변수 없는 유사도 지표를 평가하였다. 답은 기하학적이다. 인코더가 분산을 모든 방향에 고르게 분포시키는 경우, 코사인이 최선의 매개변수 없는 선택이며 어떤 다른 지표도 실용적인 마진 차이를 보이지 않는다. 분산이 소수의 지배적인 방향으로 집중되는 경우, 즉 비등방성(anisotropy)으로 알려진 특성이 있는 경우, 순위 기반 및 L1형 지표가 코사인보다 명확한 마진으로 우수하다. 절대적인 성능 향상은 크지 않지만, 해당 인코더에서 코사인이 낮은 값에서 출발하기 때문에 상대적 개선은 상당하며, 평균 약 20%이고 코사인이 가장 약한 경우에 가장 크다. 이를 결정하는 것은 임베딩 공간의 기하학적 특성이지 모델의 학습 방식이 아니다: 두 가지가 서로 다른 결과를 보이는 경우, 지표는 기하학을 따른다. 단일 지배 차원이 보유하는 분산의 비율이라는 하나의 수치가, 19개 전체 인코더에 걸쳐 대안 지표들이 얼마나 도움이 되는지를 순위 상관관계 0.86, 선형 상관관계 0.95로 예측한다. 이것이 단순한 상관관계가 아닌 원인임을 검증하기 위해 지배적인 방향들을 투영하여 제거하였더니, 코사인은 회복되고 다른 지표들의 이점은 거의 사라졌으나, 이는 처음부터 비등방성이었던 인코더에서만 나타났다. 이 효과는 크기 기반이 아닌 방향성에 기반한 것으로, 모든 벡터를 단위 길이로 정규화해도 유지된다. 따라서 매개변수 없는 지표들 중에서, 코사인은 인코더가 잘 분산되어 있는 경우라면 올바른 도구이며, 이는 검색에 흔히 배포되는 파인튜닝된 임베더를 포함한다. 또한 코사인이 적합하지 않은 경우를 판별하기 위한 단일 수치 진단법을 제시한다.