arXiv:2007.10055

Morphological Skip-Gram: Using morphological knowledge to improve word representation

Flávio Santos, Hendrik Macedo, Thiago Bispo, Cleber Zanchettin

제출 2020-07-20

원문 초록

Natural language processing models have attracted much interest in the deep learning community. This branch of study is composed of some applications such as machine translation, sentiment analysis, named entity recognition, question and answer, and others. Word embeddings are continuous word representations, they are an essential module for those applications and are generally used as input word representation to the deep learning models. Word2Vec and GloVe are two popular methods to learn word embeddings. They achieve good word representations, however, they learn representations with limited information because they ignore the morphological information of the words and consider only one representation vector for each word. This approach implies that Word2Vec and GloVe are unaware of the word inner structure. To mitigate this problem, the FastText model represents each word as a bag of characters n-grams. Hence, each n-gram has a continuous vector representation, and the final word representation is the sum of its characters n-grams vectors. Nevertheless, the use of all n-grams character of a word is a poor approach since some n-grams have no semantic relation with their words and increase the amount of potentially useless information. This approach also increases the training phase time. In this work, we propose a new method for training word embeddings, and its goal is to replace the FastText bag of character n-grams for a bag of word morphemes through the morphological analysis of the word. Thus, words with similar context and morphemes are represented by vectors close to each other. To evaluate our new approach, we performed intrinsic evaluations considering 15 different tasks, and the results show a competitive performance compared to FastText.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.15209v1cs.CL공통 태그 Sentiment Analysis, Named Entity Recognition

Ge'ez 기반 아프리카 언어 어휘 확장: Amharic과 Tigrinya 비교 연구

Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

다국어 사전학습(pre-trained) 언어 모델(PLM)은 자원이 적은 비라틴 문자(non-Latin-script) 언어에서 성능이 저하되는데, 이는 라틴 문자 중심의 토큰화(tokenization) 학습(training)으로 인한 높은 OOV(out-of-vocabulary) 비율과 과도한 서브워드(subword) 분절(fragmentation) 때문이다. 본 연구는 Ge'ez 문자 기반 언어 중 자원이 가장 풍부한 Amharic과 Tigrinya를 대상으로 하는 XLM-R의 어휘 확장(vocabulary-extended) 변형인 VEXMLM을 제안하며, 추가로 17개의 저자원 아프리카 언어(총 19개)에서도 평가한다. 큐레이션된 Amharic 및 Tigrinya 단일어(monolingual) 말뭉치로 언어별 SentencePiece 토크나이저를 학습하고, 이 토크나이저에서 파생된 30,000개의 Ge'ez 문자 서브워드를 XLM-R 어휘에 추가하며, XLM-R 원래 토크나이저 하에서 구성 서브워드 임베딩(embedding)의 평균으로 이들의 임베딩을 초기화(initialization)한다. VEXMLM은 두 단계로 학습된다: (1) 큐레이션된 말뭉치에서 확장 어휘에 대한 지속적 마스크 언어 모델링(masked language modeling), (2) 질의응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세조정(supervised fine-tuning). Amharic/Tigrinya QA에서 VEXMLM은 87.0 EM / 90.0 F1을 달성하며, XLM-R의 66.0 EM / 78.0 F1, Glot500의 74.0 EM / 78.0 F1을 상회한다. SA에서는 VEXMLM이 80.0% 정확도에 도달하며, XLM-R 77.0%, Glot500 46.0%를 넘는다. NER에서는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균한 OOV 토큰(token) 개체 정확도를 81.4%에서 94.3%로 높인다. 본 연구의 기여는 (i) Ge'ez 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차, (ii) Amharic/Tigrinya에서의 어휘 및 지속적 사전학습(continued pre-training) 이득이 17개의 형태론적으로 관련된 비증강(unaugmented) 아프리카 언어로 전이되는 이단계 학습 전략, (iii) 19개 언어 전반에 걸친 내재적(intrinsic) 토큰화 지표(어휘 커버리지, fertility, OOV 비율)와 외재적(extrinsic) 과제 성능에 대한 평가이다.

arXiv:2607.10715v1cs.CL공통 태그 Sentiment Analysis, Named Entity Recognition

슬라브어권 설득 기법 말뭉치

A Corpus of Persuasion Techniques in Slavic Languages

설득 기법은 다양한 미디어에서 여론을 움직이는 데 사용되는 강력한 수사적 도구이다. 우리는 슬라브어에 초점을 맞춘 새로운 설득 기법 말뭉치를 제시한다. 본 말뭉치는 불가리아어, 폴란드어, 러시아어로 작성된 문서를 포함하며, 거친 단위의 텍스트 범위 수준과 세밀한 문장 수준에서 설득 기법이 주석 처리되어 있다. 해당 기법들은 여섯 가지 광범위한 수사적 설득 전략 범주로 묶인 25개의 세밀한 설득 기법 분류 체계에서 도출된다. 본 말뭉치는 국내외적으로 뜨겁게 논의되는 주제를 다루는 222개 문서에서 약 7,500개의 텍스트 범위를 포함한다. 우리는 말뭉치 구축 과정을 설명하고 상세한 통계를 제공하며, 주제와 설득 기법 간의 상관관계를 분석한다. 텍스트 범위 수준 및 문장 수준에서 설득 기법의 탐지 및 분류(classification)를 위한 기준선과 벤치마크 결과를 제공하기 위해 고전적 ML 기반 모델과 생성형 AI 기반 모델을 활용한다.

arXiv:2607.09291v1cs.CL공통 태그 Machine Translation, Named Entity Recognition

문자 표제어 추출: 중세 문서의 문자 집합 단순화 및 약어 복원을 위한 일대일 및 밴드 RNN

Letter Lemmatization: One-to-one and Banded RNNs for Reversing Character-Set Simplification and Abbreviation in Medieval Text

중세 문서 전사자들은 매우 다양한 관행을 가지고 있으며, 이에 더해 이질적인 디지털화 정책으로 인해 문자 집합을 유동적으로 간주해야 하는 코퍼스가 생성되었다. 본 논문에서는 문자 집합 간 변환 문제를 유연한 방식으로 해결한다. 우리는 일대일 문자 매핑에 초점을 맞추고, 자기지도학습으로 이를 되돌리기 위해 문자 수준의 일대일 RNN을 학습시킨다. 텍스트 20줄만으로도 CER의 절반을 회복할 수 있다. 이러한 일대일 네트워크를 HTR 후처리 교정에 활용한 결과, 삽입-삭제를 완전히 무시함에도 불구하고 유의미한 성능 향상이 나타남을 확인하였다. 이후 병렬 코퍼스에서 컴파일한 문자 수준 정렬 그라운드트루스를 동일한 네트워크에 적용하여 밴드 RNN(Banded RNNs)이라 부르는 학습 및 추론 방식으로 활용한다. 이 네트워크를 이용하여 중세 헌장 전사본의 약어를 성공적으로 확장하였다. 마지막으로, 임의의 두 문자 집합의 문자를 입력받아 우리가 문자의 의미적 유사도로 간주하는 것을 포착하는 메트릭을 정의하는 정교한 휴리스틱을 소개한다. 이러한 매핑 구성을 문자 표제어 추출(letter lemmatization)이라 명명하고, 제시된 모든 방법을 효율적으로 수행하는 풍부한 Python 라이브러리를 공개한다.

arXiv:2607.04895v2cs.CL공통 태그 Morphological Analysis, Named Entity Recognition

Ossetic-COT: 오세트어 형태소 주석 말뭉치 및 형태소 분석기 설계

Ossetic-COT: Designing a morphologically annotated corpus and morphological analyzer for Ossetic

본 연구에서는 Universal Dependencies 스키마를 따르는 최초의 Iron 오세트어 형태소 주석 말뭉치를 소개한다. 이 말뭉치는 Iron Ossetic Corpus of Oral Texts에서 수작업으로 주석 처리된 5,454개의 문장(총 74,032개의 토큰)을 포함한다. 우리는 이 말뭉치를 활용하여 BERT 기반 형태소 분석기를 학습시켰으며, 해당 분석기는 95.60%의 태그 정확도를 달성하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.