More Romanian word embeddings from the RETEROM project
원문 초록
Automatically learned vector representations of words, also known as "word embeddings", are becoming a basic building block for more and more natural language processing algorithms. There are different ways and tools for constructing word embeddings. Most of the approaches rely on raw texts, the construction items being the word occurrences and/or letter n-grams. More elaborated research is using additional linguistic features extracted after text preprocessing. Morphology is clearly served by vector representations constructed from raw texts and letter n-grams. Syntax and semantics studies may profit more from the vector representations constructed with additional features such as lemma, part-of-speech, syntactic or semantic dependants associated with each word. One of the key objectives of the ReTeRom project is the development of advanced technologies for Romanian natural language processing, including morphological, syntactic and semantic analysis of text. As such, we plan to develop an open-access large library of ready-to-use word embeddings sets, each set being characterized by different parameters: used features (wordforms, letter n-grams, lemmas, POSes etc.), vector lengths, window/context size and frequency thresholds. To this end, the previously created sets of word embeddings (based on word occurrences) on the CoRoLa corpus (P\u{a}i\c{s} and Tufi\c{s}, 2018) are and will be further augmented with new representations learned from the same corpus by using specific features such as lemmas and parts of speech. Furthermore, in order to better understand and explore the vectors, graphical representations will be available by customized interfaces.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM 기반 추천 모델에서 고차 상호작용 인식 향상
Enhancing High-order Interaction Awareness in LLM-based Recommender Model
대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.
기약 표현의 관점에서 재조명한 다중 치환 등변성
Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations
본 논문은 치환 및 관련 군(group)의 표현에 대한 등변(equivariant) 선형 레이어의 특성화를 탐구합니다. 매개변수 공유(parameter-sharing)를 통해 이러한 문제를 다루는 전통적인 접근법과 달리, 본 연구에서는 기약 표현(irreducible representation)과 슈어의 보조정리(Schur's lemma)에 기반한 대안적 방법론을 고려합니다. 이 방법론을 사용하여 DeepSets, 2-IGN 그래프 등변 네트워크, 딥 가중치 공간(DWS, Deep Weight Space) 네트워크와 같은 기존 모델에 대한 대안적 유도를 도출합니다. DWS 네트워크에 대한 유도는 기존 결과에 비해 훨씬 간단합니다. 나아가, 군의 화환곱(wreath product)에 대한 등변성이 요구되는 비정렬 대칭 집합으로 접근법을 확장합니다. 이전 연구들은 거의 모든 화환 등변 레이어가 샴(Siamese) 구조를 갖는 다소 제한적인 환경에서 이 문제를 다루었습니다. 이와 대조적으로, 본 논문에서는 이러한 경우의 레이어에 대한 완전한 특성화를 제시하며 일부 환경에서는 방대한 수의 추가적인 비-샴(non-Siamese) 레이어가 존재함을 보입니다. 또한 이러한 추가 비-샴 레이어가 그래프 이상치 탐지, 가중치 공간 정렬, 바세르슈타인 거리(Wasserstein distance) 학습과 같은 태스크에서 성능을 향상시킬 수 있음을 실증적으로 보여줍니다. 코드는 \href{https://github.com/yonatansverdlov/Irreducible-Representations-of-Deep-Weight-Spaces}{GitHub}에서 확인할 수 있습니다.
E2Vec: 전자책 시스템에서의 학생 행동 분석을 위한 시간 정보 기반 특징 임베딩
E2Vec: Feature Embedding with Temporal Information for Analyzing Student Actions in E-Book Systems
디지털 교과서(전자책) 시스템은 학생들의 교과서와의 상호작용을 EventStream 데이터라고 불리는 일련의 이벤트(event)로 기록합니다. 과거 연구자들은 EventStream에서 의미 있는 특징(feature)을 추출하여 성적 예측이나 학생 행동 모델링과 같은 다운스트림(downstream) 태스크의 입력으로 활용했습니다. 기존 연구는 조작 유형의 수나 접근 빈도와 같이 EventStream 로그에서 파생된 주로 통계 기반 특징을 사용하는 모델들을 평가했습니다. 이러한 특징들은 특정 통찰력을 제공하는 데 유용하지만, 학생 간의 학습 행동에 있는 세밀한 차이를 포착하는 시간 정보가 부족합니다. 본 연구는 단어 임베딩(word embedding) 기반의 새로운 특징 표현 방법인 E2Vec을 제안합니다. 제안된 방법은 각 학생에 대한 조작 로그와 시간 간격을 문자의 문자열 시퀀스(sequence)로 간주하여, 시간 정보를 통합한 학습 활동 특징의 학생 벡터를 생성합니다. 우리는 2년간의 컴퓨터 과학 강의에서 수집된 데이터셋(dataset)에 있는 305명의 학생 각각에 대해 임베딩 벡터를 생성하도록 fastText를 적용했습니다. 그 후, 위험군 탐지 태스크(task)에서 E2Vec의 효과를 조사하여 일반화 가능성과 성능에 대한 잠재력을 입증했습니다.
Identifying the Smallest Adversarial Load Perturbations that Render DC-OPF Infeasible
Distributed Lyapunov Functions for Nonlinear Networks
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
토론
이 논문과 연결된 포럼 글이 아직 없습니다.