arXiv:1606.02601

A Joint Model for Word Embedding and Word Morphology

Kris Cao, Marek Rei

제출 2016-06-08

원문 초록

This paper presents a joint model for performing unsupervised morphological analysis on words, and learning a character-level composition function from morphemes to word embeddings. Our model splits individual words into segments, and weights each segment according to its ability to predict context words. Our morphological analysis is comparable to dedicated morphological analyzers at the task of morpheme boundary recovery, and also performs better than word-based embedding models at the task of syntactic analogy answering. Finally, we show that incorporating morphology explicitly into character-level models help them produce embeddings for unseen words which correlate better with human judgments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2403.01309공통 태그 Word Embeddings, Morphological Analysis공식 코드 · Papers with Code

VNLP: Turkish NLP Package

arXiv:2606.18717v2cs.CL공통 태그 Word Embeddings, Morphological Analysis

Morpheus: 터키어를 위한 형태론 인식 신경망 토크나이저 및 단어 임베더

Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish

터키어는 교착어(agglutinative language)로, 의미가 형태소(morpheme)를 통해 전달된다. 그러나 현대 언어 모델을 구동하는 서브워드 토크나이저(subword tokenizer)들은 말뭉치 통계에 따라 단어를 분할하기 때문에 의미가 실린 접미사들을 파편화하며, WordPiece와 규칙 기반 분석기의 경우 그 출력을 원문으로 다시 디코딩하지 못한다. 본 논문은 터키어를 위한 신경망 형태소 경계 모델인 \textbf{Morpheus}를 제안한다. 이는 손실 없는(lossless) 형태론 인식 토크나이저이자 단어 임베딩 생성기를 동시에 구현한다. 미분 가능한 포아송-이항 동적 계획법(Poisson-binomial dynamic program)은 학습 중에는 문자 단위 경계 확률을 소프트 형태소 소속도로 변환하고, 추론 시에는 정확한 분절 결과를 산출하며, 문자열 정규화를 전혀 거치지 않으므로 $\mathrm{decode}(\mathrm{encode}(w)) = w$가 구조적으로 성립한다. 모델이 신경망이기 때문에, 토큰화를 수행하는 동일한 순전파에서 구조화된 단어 임베딩도 함께 산출된다. 생성(generation)에 유효한 유일한 유형인 가역적 토크나이저들 중에서, Morpheus는 가장 낮은 문자당 비트 수($1.425$)를 달성하고, 서브워드 계열 대비 골드 형태론적 정렬도를 거의 두 배로 높였으며(MorphScore macro-F1 $0.61$ 대 ${\sim}0.32$), 64K 어휘 서브워드 토크나이저 대비 GPU 메모리 사용량을 약 $19\%$ 줄였다. 임베더로서, 고정된(frozen) Morpheus 벡터는 어휘 검색(lexical retrieval, root-family MAP $0.85$)과 동일 어근 검증(same-root verification, ROC-AUC $1.00$)에서 최고 성능을 보이며 다국어 검색 모델 BGE-M3와 BERTurk를 능가한다. 반면 문맥 및 굴절 의존적 과제(개체명 인식(NER), 격/수 프로빙)에서는 더 무거운 문맥 인코더들이 여전히 앞서는데, 이는 Morpheus의 어근 중심 기하 구조에서 기인하는 트레이드오프로 보인다. 코드: https://github.com/lonewolf-rd/TurkishMorpheus; 모델: https://huggingface.co/lonewolflab/Morpheus-TR-50K; 인터랙티브 데모: https://huggingface.co/spaces/lonewolflab/morpheus-tr-demo.

arXiv:2409.19979v4cs.IR공통 태그 Word Embeddings공식 코드 · Papers with Code

LLM 기반 추천 모델에서 고차 상호작용 인식 향상

Enhancing High-order Interaction Awareness in LLM-based Recommender Model

대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.

arXiv:2407.13053v2cs.CY공통 태그 Word Embeddings공식 코드 · Papers with Code

E2Vec: 전자책 시스템에서의 학생 행동 분석을 위한 시간 정보 기반 특징 임베딩

E2Vec: Feature Embedding with Temporal Information for Analyzing Student Actions in E-Book Systems

디지털 교과서(전자책) 시스템은 학생들의 교과서와의 상호작용을 EventStream 데이터라고 불리는 일련의 이벤트(event)로 기록합니다. 과거 연구자들은 EventStream에서 의미 있는 특징(feature)을 추출하여 성적 예측이나 학생 행동 모델링과 같은 다운스트림(downstream) 태스크의 입력으로 활용했습니다. 기존 연구는 조작 유형의 수나 접근 빈도와 같이 EventStream 로그에서 파생된 주로 통계 기반 특징을 사용하는 모델들을 평가했습니다. 이러한 특징들은 특정 통찰력을 제공하는 데 유용하지만, 학생 간의 학습 행동에 있는 세밀한 차이를 포착하는 시간 정보가 부족합니다. 본 연구는 단어 임베딩(word embedding) 기반의 새로운 특징 표현 방법인 E2Vec을 제안합니다. 제안된 방법은 각 학생에 대한 조작 로그와 시간 간격을 문자의 문자열 시퀀스(sequence)로 간주하여, 시간 정보를 통합한 학습 활동 특징의 학생 벡터를 생성합니다. 우리는 2년간의 컴퓨터 과학 강의에서 수집된 데이터셋(dataset)에 있는 305명의 학생 각각에 대해 임베딩 벡터를 생성하도록 fastText를 적용했습니다. 그 후, 위험군 탐지 태스크(task)에서 E2Vec의 효과를 조사하여 일반화 가능성과 성능에 대한 잠재력을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.