산스크리트 문학에서 의미 변화를 측정하는 계산적 접근
A Computational Approach to Measuring Semantic Change in Sanskrit Literature
한국어 초록
통시적 단어 임베딩(diachronic word embeddings)은 의미 변화 추적의 현대적 표준이 되었으나, 주로 현대의 고자원(high-resource) 및 분절이 잘 된(well-segmented) 언어에서 검증되어 왔다. 본 논문은 음운 융합(sandhi), 형태론적 곡용(morphological inflection), 합성(compounding), 다의성(polysemy)이 독특한 과제를 제기하는 고대의 저자원(low-resource) 언어인 산스크리트에 이 패러다임이 전이되는지 검증한다. 네 개의 정통 시대(canonical periods)에 걸친 270만 토큰 규모의 말뭉치를 구축하고, 신경망 기반 바이트 수준 sandhi 분절기와 표제어 추출기(lemmatizer)로 단어 경계를 복원한 뒤, 여러 설정(configuration)에 걸쳐 시대별 임베딩을 학습한다. 시스템을 평가하기 위해 역사 학술 연구에서 검증 집합(validation set)을 구성하고, 앵커 변위(anchor displacement)로 방향성 복구를 검증한다. 검증 가능한 21개 변화 중 19개가 문헌학적으로 입증된 방향으로 이동하였다(부호 검定, p=0.00011). 또한 언어가 요구하는 설정을 밝히고 개선 여지에 대해 논의한다.
원문 초록
Diachronic word embeddings have become the modern standard for tracking semantic change, yet they have been largely validated on modern, high-resource, and well-segmented languages. This paper tests whether the paradigm transfers to Sanskrit, an ancient, low-resource language whose phonological fusion (sandhi), morphological inflection, compounding, and polysemy pose a unique challenge. I assemble a 2.7M-token corpus spanning four canonical periods, recover word boundaries with a neural byte-level sandhi splitter and lemmatizer, and train per-period embeddings across configurations. To evaluate the system, I curate a validation set from historical scholarship and test recovery directionally with anchor displacement. Of 21 testable shifts, 19 move in the philologically attested direction (sign test, p=0.00011). I further show which configuration the language forces and comment on opportunities for improvement.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.25012v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
병렬 토크나이저: 저자원 언어의 교차 언어 전이에서 인코더 모델 어휘 설계 재고
Parallel Tokenizers: Rethinking Encoder Models' Vocabulary Design in Cross-Lingual Transfer of Low-Resource Languages
토큰화는 다국어 언어 모델의 기반이지만, 기존 방법은 의미적으로 동등한 단어를 서로 다른 임베딩에 매핑함으로써 교차 언어 전이를 제한하는 경우가 많다. 예를 들어, 영어의 'I eat rice'와 하우사어의 'Ina cin shinkafa'는 일반적으로 서로 다른 어휘 인덱스에 매핑되어 공유 표현을 방해하고 교차 언어 일반화를 제한한다. 이 문제는 저자원 언어에서 더욱 두드러지며, 이러한 언어에서는 공유 표현이 가장 큰 이점을 제공할 수 있다. 우리는 병렬 토크나이저(parallel tokenizers)를 제안한다. 이는 먼저 토크나이저를 단일 언어로 학습한 다음, 이중 언어 사전 또는 단어-단어 번역을 사용하여 어휘를 포괄적으로 정렬하는 새로운 프레임워크이다. 이 정렬은 언어 간 공유 의미 공간을 강제하면서 자연스럽게 fertility 균형을 개선한다. 효과를 평가하기 위해, 우리는 13개의 저자원 언어에 대해 처음부터 트랜스포머 인코더를 사전학습하고, 감성 분석, 혐오 발언 탐지, 감정 분류, 문장 임베딩 유사도에서 평가한다. 모든 과제에서 병렬 토크나이저로 학습된 모델이 기존 다국어 베이스라인을 능가하며, 토큰화를 재고하는 것이 다국어 표현 학습—특히 저자원 환경에서—을 발전시키는 데 필수적임을 확인한다.
ROMEVA: 로마 우르두어 언어 모델을 위한 기하학 보존 어휘 확장
ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models
mBERT와 같은 다국어 언어 모델은 저자원 자연어 처리(NLP)에 널리 사용되지만, 로마 우르두어와 같이 형태론적으로 불일치하는 언어에 대한 적응은 아직 충분히 탐구되지 않았다. 로마 우르두어의 철자 변이는 심각한 서브워드(sub-word) 분절을 유발하며, 토큰당 평균 1.50개의 서브워드를 만든다. 우리는 서브워드 평균 초기화와 PCA 가이드 앵커 손실을 결합하여 어휘 확장 중 임베딩을 안정화하는 ROMEVA(Roman Urdu Embedding-preserving Vocabulary Adaptation)를 제안한다. 36,130개 댓글로 구성된 로마 우르두어 코퍼스를 사용하여 mBERT에 고도로 분절된 500개 토큰을 추가하고, 단순 미세조정, 서브워드 인지 미세조정, ROMEVA를 비교한다. ROMEVA는 사전학습된 임베딩 공간을 가장 효과적으로 보존하는 반면, 단순 미세조정이 하류 감성 분류 성능에서 가장 우수한 결과를 낸다. 이러한 결과는 임베딩 안정성과 하류 성능 사이의 단절을 보여주며, 형태론적으로 불일치하는 언어에서는 엄격한 임베딩 보존보다 더 강한 적응이 바람직할 수 있음을 시사한다.
LLM 기반 추천 모델에서 고차 상호작용 인식 향상
Enhancing High-order Interaction Awareness in LLM-based Recommender Model
대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.
E2Vec: 전자책 시스템에서의 학생 행동 분석을 위한 시간 정보 기반 특징 임베딩
E2Vec: Feature Embedding with Temporal Information for Analyzing Student Actions in E-Book Systems
디지털 교과서(전자책) 시스템은 학생들의 교과서와의 상호작용을 EventStream 데이터라고 불리는 일련의 이벤트(event)로 기록합니다. 과거 연구자들은 EventStream에서 의미 있는 특징(feature)을 추출하여 성적 예측이나 학생 행동 모델링과 같은 다운스트림(downstream) 태스크의 입력으로 활용했습니다. 기존 연구는 조작 유형의 수나 접근 빈도와 같이 EventStream 로그에서 파생된 주로 통계 기반 특징을 사용하는 모델들을 평가했습니다. 이러한 특징들은 특정 통찰력을 제공하는 데 유용하지만, 학생 간의 학습 행동에 있는 세밀한 차이를 포착하는 시간 정보가 부족합니다. 본 연구는 단어 임베딩(word embedding) 기반의 새로운 특징 표현 방법인 E2Vec을 제안합니다. 제안된 방법은 각 학생에 대한 조작 로그와 시간 간격을 문자의 문자열 시퀀스(sequence)로 간주하여, 시간 정보를 통합한 학습 활동 특징의 학생 벡터를 생성합니다. 우리는 2년간의 컴퓨터 과학 강의에서 수집된 데이터셋(dataset)에 있는 305명의 학생 각각에 대해 임베딩 벡터를 생성하도록 fastText를 적용했습니다. 그 후, 위험군 탐지 태스크(task)에서 E2Vec의 효과를 조사하여 일반화 가능성과 성능에 대한 잠재력을 입증했습니다.
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
A Comparative Analysis of Static Word Embeddings for Hungarian
토론
이 논문과 연결된 포럼 글이 아직 없습니다.