arXiv:2606.15510v2 cs.CL

AthDGC: An Open Diachronic Greek Treebank with Indo-European Parallels

Nikolaos Lavidas, Kiki Nikiforidou, Dag Haug, Leonid Kulikov, Vassiliki Geka, Vassileios Symeonidis, Theodoros Michalareas, Sofia Chionidi, Anastasia Tsiropina, Eleni Plakoutsi, Evangelos Argyropoulos

제출 2026-06-13

원문 초록

AthDGC ("Athens-PROIEL") is an open, end-to-end workflow and dataset. It is, to the best of our knowledge, the first openly licensed dependency-parsed treebank of Greek that spans eight diachronic periods, namely Archaic, Classical, Koine, Late Antique, Byzantine, Late Byzantine, Early Modern, and Modern Greek, under a single PROIEL XML 2.0 schema, with verse-level cross-alignment of the New Testament to Latin (Vulgate), Gothic (Wulfila), Old Church Slavonic (Marianus), and Classical Armenian. AthDGC builds on the PROIEL Treebank Family (Haug and Johndal 2008; Eckhoff et al. 2018), which established the schema and the Koine-Greek reference set for the project. Annotation uses the Stanford Stanza PROIEL-trained workflow; sentence-level alignment uses LaBSE, a multilingual sentence-embedding model; word-level alignment uses multilingual-BERT attention through the AwesomeAlign procedure. The v0.4 release provides curated samples and the open-source toolkit; the full annotated corpus partitions remain under v0.5 audit on the Greek national HPC. Quantitative scale, per-witness verse counts, and per-period annotated-row counts are reported in the v0.5 release notes, after the audit pass completes. Concept DOI: 10.5281/zenodo.20439182.

요약

AthDGC(Athens-PROIEL)는 고대 아르카익 그리스어부터 현대 그리스어까지 8개 시대를 아우르는 최초의 공개 라이선스 의존 구문 트리뱅크(treebank)로, Stanford Stanza와 LaBSE, multilingual-BERT 기반 AwesomeAlign을 활용해 신약성서를 라틴어·고트어·고대 교회 슬라브어·고전 아르메니아어와 구절 수준으로 교차 정렬한 오픈소스 말뭉치 구축 워크플로우를 제공한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.15510v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.18109v2cs.CL공통 태그 Machine Translation, Word Embeddings, multilingual

FLiP: 멀티모달 다국어 문장 임베딩의 이해 및 해석을 향하여

FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

본 논문은 사전학습된 문장 임베딩 공간을 이해하기 위한 인수분해 선형 투영(FLiP) 모델을 제안합니다. 우리는 다국어(LaBSE), 멀티모달(SONAR), API 기반(Gemini) 문장 임베딩 공간에서 여러 고자원 및 중자원 언어의 어휘적 내용을 복원하도록 FLiP 모델을 학습시킵니다. 우리는 FLiP가 임베딩에서 75% 이상의 어휘적 내용을 재현할 수 있음을 보여주며, 이는 기존의 인수분해되지 않은 기준 모델들을 현저히 능가합니다. 이를 진단 도구로 활용하여 선택된 문장 인코더들 간의 모달리티 및 언어 편향을 규명하고, 기존의 다운스트림 평가 작업에 의존하지 않고 실무자들에게 인코더에 대한 내재적 통찰을 제공합니다. 우리의 구현체는 https://github.com/BUTSpeechFIT/FLiP에서 공개되어 있습니다.

arXiv:2606.18717v2cs.CL공통 태그 Machine Translation, Word Embeddings

Morpheus: 터키어를 위한 형태론 인식 신경망 토크나이저 및 단어 임베더

Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish

터키어는 교착어(agglutinative language)로, 의미가 형태소(morpheme)를 통해 전달된다. 그러나 현대 언어 모델을 구동하는 서브워드 토크나이저(subword tokenizer)들은 말뭉치 통계에 따라 단어를 분할하기 때문에 의미가 실린 접미사들을 파편화하며, WordPiece와 규칙 기반 분석기의 경우 그 출력을 원문으로 다시 디코딩하지 못한다. 본 논문은 터키어를 위한 신경망 형태소 경계 모델인 \textbf{Morpheus}를 제안한다. 이는 손실 없는(lossless) 형태론 인식 토크나이저이자 단어 임베딩 생성기를 동시에 구현한다. 미분 가능한 포아송-이항 동적 계획법(Poisson-binomial dynamic program)은 학습 중에는 문자 단위 경계 확률을 소프트 형태소 소속도로 변환하고, 추론 시에는 정확한 분절 결과를 산출하며, 문자열 정규화를 전혀 거치지 않으므로 $\mathrm{decode}(\mathrm{encode}(w)) = w$가 구조적으로 성립한다. 모델이 신경망이기 때문에, 토큰화를 수행하는 동일한 순전파에서 구조화된 단어 임베딩도 함께 산출된다. 생성(generation)에 유효한 유일한 유형인 가역적 토크나이저들 중에서, Morpheus는 가장 낮은 문자당 비트 수($1.425$)를 달성하고, 서브워드 계열 대비 골드 형태론적 정렬도를 거의 두 배로 높였으며(MorphScore macro-F1 $0.61$ 대 ${\sim}0.32$), 64K 어휘 서브워드 토크나이저 대비 GPU 메모리 사용량을 약 $19\%$ 줄였다. 임베더로서, 고정된(frozen) Morpheus 벡터는 어휘 검색(lexical retrieval, root-family MAP $0.85$)과 동일 어근 검증(same-root verification, ROC-AUC $1.00$)에서 최고 성능을 보이며 다국어 검색 모델 BGE-M3와 BERTurk를 능가한다. 반면 문맥 및 굴절 의존적 과제(개체명 인식(NER), 격/수 프로빙)에서는 더 무거운 문맥 인코더들이 여전히 앞서는데, 이는 Morpheus의 어근 중심 기하 구조에서 기인하는 트레이드오프로 보인다. 코드: https://github.com/lonewolf-rd/TurkishMorpheus; 모델: https://huggingface.co/lonewolflab/Morpheus-TR-50K; 인터랙티브 데모: https://huggingface.co/spaces/lonewolflab/morpheus-tr-demo.

arXiv:2609.27558v1cs.CL공통 태그 Dependency Parsing, treebank

ThaiTrees: 도메인을 아우르는 태국어 구문 의존 트리

ThaiTrees: Thai Syntactic Dependency Trees Across Domains

자연어에서 나타나는 구문 패턴을 연구하려면 대규모 구문 분석 코퍼스가 필요하지만, 수작업 어노테이션은 비용이 크고 확장하기 어렵다. 태국어는 구문 분석기(parser) 학습 및 평가를 위한 수작업 의존 트리뱅크가 있으나, 정량적 구문 연구를 위한 대규모 자동 구문 분석 코퍼스는 부족하다. 우리는 뉴스, 위키피디아, 구어 전사, 소셜 미디어에서 수집한 342M 토큰 규모의 코퍼스 ThaiTrees를 제시한다. Universal Dependencies 프레임워크 하에서 태국어 텍스트를 정제·처리·구문 분석하는 재현 가능한 파이프라인을 개발한다. 이로 얻은 코퍼스는 문법적 관계를 검색 가능하게 하며 구문 분포 연구를 지원한다. AI 지원 분석과 기존 프로그램 기반 분석 모두에 적합한 기계 가독형 형식으로 빈도 어휘집과 CoNLL-U 구문 분석 결과를 공개한다.

arXiv:2510.06128v2cs.CL공통 태그 Word Embeddings, multilingual

병렬 토크나이저: 저자원 언어의 교차 언어 전이에서 인코더 모델 어휘 설계 재고

Parallel Tokenizers: Rethinking Encoder Models' Vocabulary Design in Cross-Lingual Transfer of Low-Resource Languages

토큰화는 다국어 언어 모델의 기반이지만, 기존 방법은 의미적으로 동등한 단어를 서로 다른 임베딩에 매핑함으로써 교차 언어 전이를 제한하는 경우가 많다. 예를 들어, 영어의 'I eat rice'와 하우사어의 'Ina cin shinkafa'는 일반적으로 서로 다른 어휘 인덱스에 매핑되어 공유 표현을 방해하고 교차 언어 일반화를 제한한다. 이 문제는 저자원 언어에서 더욱 두드러지며, 이러한 언어에서는 공유 표현이 가장 큰 이점을 제공할 수 있다. 우리는 병렬 토크나이저(parallel tokenizers)를 제안한다. 이는 먼저 토크나이저를 단일 언어로 학습한 다음, 이중 언어 사전 또는 단어-단어 번역을 사용하여 어휘를 포괄적으로 정렬하는 새로운 프레임워크이다. 이 정렬은 언어 간 공유 의미 공간을 강제하면서 자연스럽게 fertility 균형을 개선한다. 효과를 평가하기 위해, 우리는 13개의 저자원 언어에 대해 처음부터 트랜스포머 인코더를 사전학습하고, 감성 분석, 혐오 발언 탐지, 감정 분류, 문장 임베딩 유사도에서 평가한다. 모든 과제에서 병렬 토크나이저로 학습된 모델이 기존 다국어 베이스라인을 능가하며, 토큰화를 재고하는 것이 다국어 표현 학습—특히 저자원 환경에서—을 발전시키는 데 필수적임을 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.