Lexical semantics enhanced neural word embeddings
원문 초록
Current breakthroughs in natural language processing have benefited dramatically from neural language models, through which distributional semantics can leverage neural data representations to facilitate downstream applications. Since neural embeddings use context prediction on word co-occurrences to yield dense vectors, they are inevitably prone to capture more semantic association than semantic similarity. To improve vector space models in deriving semantic similarity, we post-process neural word embeddings through deep metric learning, through which we can inject lexical-semantic relations, including syn/antonymy and hypo/hypernymy, into a distributional space. We introduce hierarchy-fitting, a novel semantic specialization approach to modelling semantic similarity nuances inherently stored in the IS-A hierarchies. Hierarchy-fitting attains state-of-the-art results on the common- and rare-word benchmark datasets for deriving semantic similarity from neural word embeddings. It also incorporates an asymmetric distance function to specialize hypernymy's directionality explicitly, through which it significantly improves vanilla embeddings in multiple evaluation tasks of detecting hypernymy and directionality without negative impacts on semantic similarity judgement. The results demonstrate the efficacy of hierarchy-fitting in specializing neural embeddings with semantic relations in late fusion, potentially expanding its applicability to aggregating heterogeneous data and various knowledge resources for learning multimodal semantic spaces.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구
Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods
본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.
MTEB-PT: 브라질 포르투갈어 텍스트 임베딩 벤치마크
MTEB-PT: A Text Embedding Benchmark for Brazilian Portuguese
포르투갈어 텍스트 임베딩에는 전용 벤치마크가 존재하지 않는다. 현재 평가는 영어 MS MARCO를 번역한 코퍼스나 단편적인 다국어 커버리지에 의존하며, 자국어 태스크는 분산되어 있고 통합되지 않은 상태다. 우리는 MTEB-PT를 소개한다. 이는 7개 카테고리(분류, 다중 레이블 분류, 쌍 분류, 의미적 텍스트 유사도, 클러스터링, 검색, 리랭킹)에 걸쳐 22개의 브라질 포르투갈어 네이티브 태스크로 구성된 벤치마크로, 포르투갈어로 작성되거나 수집된 데이터만을 허용하며 번역 데이터는 설계상 제외된다. 우리는 2,300만에서 270억 파라미터 규모의 93개 모델을 평가했다: 오픈 가중치 모델 73개와 상용 폐쇄형 API 20개. 리더보드와 함께 모든 주요 비교에 대한 통계적 분석 층을 제공한다: 태스크별 부트스트랩 신뢰구간, 쌍별 부트스트랩 유의성 검정, 문항반응이론(Item Response Theory)을 응용한 태스크·인스턴스 수준의 판별력 분석(각 태스크가 모델을 얼마나 명확하게 구분하는지), 그리고 리더보드 간 상관관계 분석. 세 가지 주요 발견이 눈에 띈다. 벤치마크는 약 12개 수준의 모델 티어를 명확히 구분하지만, 상위 6개 모델은 통계적으로 순위를 정하기 어려울 만큼 근접해 있다. 공개 라이선스를 가진 자체 호스팅 가능한 모델이 최상위 티어에 도달함으로써, 우수한 포르투갈어 임베딩 품질을 위해 상용 API가 필수적이지 않음을 보여준다. 또한 전 세계 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 수준으로만 예측한다(공유 모델 55개에 대한 스피어만 상관계수 rho = 0.75; 한 모델은 다국어 리더보드에서 3위이지만 본 벤치마크에서는 49위), 따라서 네이티브 벤치마크는 다국어 리더보드가 측정하지 못하는 것을 측정한다. 우리는 모든 태스크, 코드, 그리고 공개 리더보드를 공개하여 실무자들이 네이티브 근거를 바탕으로 포르투갈어 임베딩 모델을 선택할 수 있도록 한다.
임베딩 모델의 특이한 측정 방식
Embedding Models Measure in Peculiar Ways
임베딩 공간은 의미적 유사도와 거리의 개념을 정의합니다. 본 연구에서는 고유하고 객관적인 의미적 동등성과 거리 개념을 인정하는 질량, 거리, 시간, 부피와 같은 물리적 측정이 이러한 임베딩에 반영되는지 살펴봅니다. 연구 결과, 임베딩 공간에서 물리적 측정은 약하게만 모델링되며, 대신 상당히 특이한 측정 패턴이 관찰되는 것으로 나타났습니다. 추가 분석에 따르면 물리적 측정에 대한 임베딩 표현은 표면적인 문자열 유사도에 큰 영향을 받으며, 유사도를 재보정하더라도 정렬(alignment)이 실질적으로 개선되지 않는 것으로 나타났습니다.
결합된 쌍별 레이블을 활용한 이진 분류
Binary Classification from Coupled Pairwise Labels
개별 인스턴스에 절대적인 클래스 레이블을 부여하기 어려운 경우에도, 두 인스턴스가 동일한 클래스에 속하는지 여부나 어떤 인스턴스가 양성(positive) 클래스에 속할 가능성이 더 높은지와 같은 관계 정보는 여전히 활용 가능할 수 있습니다. 본 연구에서는 이 두 가지 유형의 정보를 각각 유사/비유사(Similarity/Dissimilarity, SD) 레이블과 쌍별 비교(Pairwise Comparison, Pcomp) 레이블이라고 부르며, 동일한 인스턴스 쌍으로부터 두 유형의 관계 정보를 모두 사용하는 이진 분류(binary classification)를 고려합니다. SD 학습(SD learning)은 유사한 쌍과 비유사한 쌍의 구분을 사용하지만 각 쌍 내의 순서는 사용하지 않는 반면, Pcomp 학습(Pcomp learning)은 각 쌍 내의 순서를 사용하지만 유사한 쌍과 비유사한 쌍을 구분하지는 않습니다. 이에 따라 본 논문에서는 목적 함수가 SD 학습과 Pcomp 학습의 구조를 동시에 보존하는 SD-Pcomp 학습을 제안합니다. 제안된 목적 함수는 두 가지 분해가 가능합니다. 하나는 SD 추정기(estimator)와 Pcomp 레이블의 순서 정보를 나타내는 항으로 구성되며, 다른 하나는 Pcomp 추정기와 SD 레이블의 쌍 유형 정보를 나타내는 항으로 구성됩니다. 이러한 분해를 통해 SD 레이블과 Pcomp 레이블이 제공하는 상호 보완적인 정보가 제안된 목적 함수에 어떻게 통합되는지 명확히 보여줍니다. 8개의 데이터셋(dataset)을 대상으로 한 실험을 통해 제안하는 방법을 SD 학습, Pcomp 학습, 그리고 두 목적 함수의 볼록 결합(convex combination)을 취하는 방법과 비교합니다. 분류 정확도 및 AUC 관점에서 두 유형의 관계 정보를 모두 사용하는 것이 분류 성능에 미치는 영향을 평가합니다.
플라톤적 표현 가설에서 무엇이 수렴하는가? 기하학보다 구조
What Converges in the Platonic Representation Hypothesis? Structure over Geometry
플라톤적 표현 가설(Platonic Representation Hypothesis)은 모델의 능력이 향상될수록 공유된 표현으로 수렴(convergence)한다고 제안합니다. 최근 연구에서는 이 주장을 공유된 국소적 이웃 관계로 좁히며, 보정(calibration)을 거치고 나면 여러 전역적 유사도 측정치에서 나타나는 용량 의존적 경향이 대체로 사라진다는 점을 발견했습니다. 본 연구에서는 기존의 국소-전역 비교가 구조적 스케일(국소적 대 전역적)과 비교 대상 자체를 혼동하고 있음을 보여줌으로써 이러한 해석에 의문을 제기합니다. 즉, 어떤 샘플들이 연관되어 있는지를 정의하는 '관계적 구조(relational structure)'와 거리, 유사도, 상관관계와 같은 정량적 관계로 특징지어지는 '계량적 기하학(metric geometry)'을 혼동했다는 것입니다. 이러한 요인들을 분리하기 위해, 국소 및 전역 스케일 모두에서 관계적 구조와 계량적 기하학을 평가하는 통제된 $2\times2$ 프레임워크를 구축합니다. 상호 $k$-최근접 이웃(mutual $k$-nearest neighbors)의 전역적 대응물로서 $H_0$ 스켈레톤 중첩(skeleton overlap)을 도입하고, 이에 대응하는 거리 인식(distance-aware) 변형들도 함께 제시합니다. 비전-언어 모델 전반에 걸쳐, 관계적 구조는 보정 후 두 스케일 모두에서 강력한 표현 수렴을 보이는 반면, 거리에 대한 일치 기준이 엄격해질수록 정렬(alignment)이 크게 약화되며 용량 의존적 경향도 점차 평탄화됩니다. 나아가 리만 계량 근사(Riemannian metric approximation) 하에서 거리 일치도를 평가함으로써 주변 유클리드 기하학을 넘어서는 분석으로 확장하였으며, 동일한 구조-기하학 패턴을 재현해 냈습니다. 이 패턴은 비디오-텍스트 표현에서도 동일하게 재현됩니다. 종합적으로, 이러한 결과는 관계적 수렴이 국소적 이웃을 넘어 전역적 스패닝 구조(global spanning structure)로까지 확장되는 반면, 계량적 기하학은 현저히 약한 수렴을 보임을 명백히 드러냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.