arXiv:1804.08316

Bilingual Embeddings with Random Walks over Multilingual Wordnets

J. Goikoetxea, A. Soroa, E. Agirre

제출 2018-04-23

원문 초록

Bilingual word embeddings represent words of two languages in the same space, and allow to transfer knowledge from one language to the other without machine translation. The main approach is to train monolingual embeddings first and then map them using bilingual dictionaries. In this work, we present a novel method to learn bilingual embeddings based on multilingual knowledge bases (KB) such as WordNet. Our method extracts bilingual information from multilingual wordnets via random walks and learns a joint embedding space in one go. We further reinforce cross-lingual equivalence adding bilingual con- straints in the loss function of the popular skipgram model. Our experiments involve twelve cross-lingual word similarity and relatedness datasets in six lan- guage pairs covering four languages, and show that: 1) random walks over mul- tilingual wordnets improve results over just using dictionaries; 2) multilingual wordnets on their own improve over text-based systems in similarity datasets; 3) the good results are consistent for large wordnets (e.g. English, Spanish), smaller wordnets (e.g. Basque) or loosely aligned wordnets (e.g. Italian); 4) the combination of wordnets and text yields the best results, above mapping-based approaches. Our method can be applied to richer KBs like DBpedia or Babel- Net, and can be easily extended to multilingual embeddings. All software and resources are open source.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.18717v2cs.CL공통 태그 Machine Translation, Word Embeddings

Morpheus: 터키어를 위한 형태론 인식 신경망 토크나이저 및 단어 임베더

Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish

터키어는 교착어(agglutinative language)로, 의미가 형태소(morpheme)를 통해 전달된다. 그러나 현대 언어 모델을 구동하는 서브워드 토크나이저(subword tokenizer)들은 말뭉치 통계에 따라 단어를 분할하기 때문에 의미가 실린 접미사들을 파편화하며, WordPiece와 규칙 기반 분석기의 경우 그 출력을 원문으로 다시 디코딩하지 못한다. 본 논문은 터키어를 위한 신경망 형태소 경계 모델인 \textbf{Morpheus}를 제안한다. 이는 손실 없는(lossless) 형태론 인식 토크나이저이자 단어 임베딩 생성기를 동시에 구현한다. 미분 가능한 포아송-이항 동적 계획법(Poisson-binomial dynamic program)은 학습 중에는 문자 단위 경계 확률을 소프트 형태소 소속도로 변환하고, 추론 시에는 정확한 분절 결과를 산출하며, 문자열 정규화를 전혀 거치지 않으므로 $\mathrm{decode}(\mathrm{encode}(w)) = w$가 구조적으로 성립한다. 모델이 신경망이기 때문에, 토큰화를 수행하는 동일한 순전파에서 구조화된 단어 임베딩도 함께 산출된다. 생성(generation)에 유효한 유일한 유형인 가역적 토크나이저들 중에서, Morpheus는 가장 낮은 문자당 비트 수($1.425$)를 달성하고, 서브워드 계열 대비 골드 형태론적 정렬도를 거의 두 배로 높였으며(MorphScore macro-F1 $0.61$ 대 ${\sim}0.32$), 64K 어휘 서브워드 토크나이저 대비 GPU 메모리 사용량을 약 $19\%$ 줄였다. 임베더로서, 고정된(frozen) Morpheus 벡터는 어휘 검색(lexical retrieval, root-family MAP $0.85$)과 동일 어근 검증(same-root verification, ROC-AUC $1.00$)에서 최고 성능을 보이며 다국어 검색 모델 BGE-M3와 BERTurk를 능가한다. 반면 문맥 및 굴절 의존적 과제(개체명 인식(NER), 격/수 프로빙)에서는 더 무거운 문맥 인코더들이 여전히 앞서는데, 이는 Morpheus의 어근 중심 기하 구조에서 기인하는 트레이드오프로 보인다. 코드: https://github.com/lonewolf-rd/TurkishMorpheus; 모델: https://huggingface.co/lonewolflab/Morpheus-TR-50K; 인터랙티브 데모: https://huggingface.co/spaces/lonewolflab/morpheus-tr-demo.

arXiv:2604.18109v2cs.CL공통 태그 Machine Translation, Word Embeddings

FLiP: 멀티모달 다국어 문장 임베딩의 이해 및 해석을 향하여

FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

본 논문은 사전학습된 문장 임베딩 공간을 이해하기 위한 인수분해 선형 투영(FLiP) 모델을 제안합니다. 우리는 다국어(LaBSE), 멀티모달(SONAR), API 기반(Gemini) 문장 임베딩 공간에서 여러 고자원 및 중자원 언어의 어휘적 내용을 복원하도록 FLiP 모델을 학습시킵니다. 우리는 FLiP가 임베딩에서 75% 이상의 어휘적 내용을 재현할 수 있음을 보여주며, 이는 기존의 인수분해되지 않은 기준 모델들을 현저히 능가합니다. 이를 진단 도구로 활용하여 선택된 문장 인코더들 간의 모달리티 및 언어 편향을 규명하고, 기존의 다운스트림 평가 작업에 의존하지 않고 실무자들에게 인코더에 대한 내재적 통찰을 제공합니다. 우리의 구현체는 https://github.com/BUTSpeechFIT/FLiP에서 공개되어 있습니다.

arXiv:2506.11641v2math.NA공통 태그 Machine Translation공식 코드 · Papers with Code

에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더

Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective

심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.