arXiv:2301.13720

Zero-shot cross-lingual transfer language selection using linguistic similarity

Juuso Eronen, Michal Ptaszynski, Fumito Masui

제출 2023-01-31

원문 초록

We study the selection of transfer languages for different Natural Language Processing tasks, specifically sentiment analysis, named entity recognition and dependency parsing. In order to select an optimal transfer language, we propose to utilize different linguistic similarity metrics to measure the distance between languages and make the choice of transfer language based on this information instead of relying on intuition. We demonstrate that linguistic similarity correlates with cross-lingual transfer performance for all of the proposed tasks. We also show that there is a statistically significant difference in choosing the optimal language as the transfer source instead of English. This allows us to select a more suitable transfer language which can be used to better leverage knowledge from high-resource languages in order to improve the performance of language applications lacking data. For the study, we used datasets from eight different languages from three language families.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2512.08617v2cs.CL공통 태그 Named Entity Recognition (NER), Sentiment Analysis

HealthcareNLP: 현재 우리는 어디에 있으며 다음 단계는 무엇인가?

HealthcareNLP: where are we and what is next?

본 튜토리얼은 자연어 처리(NLP)의 헬스케어 도메인 적용, HealthcareNLP 분야에서 우리가 달성한 성과, 그리고 미래를 향한 과제에 초점을 맞춥니다. 이 분야의 기존 리뷰들은 개인정보 보호 문제를 해결하기 위한 합성 데이터 생성이나 보다 나은 통합 및 구현을 위한 설명 가능한 임상 NLP 같은 몇 가지 중요한 태스크를 간과하거나, 검색-증강 생성(RAG) 및 대규모 언어 모델(LLM)과 지식 그래프(KG)의 뉴로-심볼릭 통합을 포함한 주요 방법론을 언급하지 못했습니다. 이러한 점을 고려하여, 본 튜토리얼의 목표는 3단계 계층 구조를 통해 환자 및 자원 지향적인 HealthcareNLP의 가장 중요한 하위 분야에 대한 입문적 개요를 제공하는 것입니다. 3단계 계층은 데이터/자원 층(어노테이션 가이드라인, 윤리적 승인, 거버넌스, 합성 데이터), NLP-평가(Eval) 층(개체명 인식(NER), 관계 추출(RE), 감성 분석과 같은 NLP 태스크 및 분류된 방법론을 통한 링킹/코딩, 이를 통한 설명 가능한 HealthAI 구축), 환자 층(환자 및 대중 참여(PPIE), 건강 이해도, 번역, 단순화, 요약(이 역시 NLP 태스크임), 공유 의사결정 지원)으로 구성됩니다. 청중이 HealthcareNLP 애플리케이션을 직접 사용할 수 있도록 튜토리얼에 실습 세션이 포함될 예정입니다. 대상 청중은 헬스케어 응용 분야의 NLP 실무자, 도메인 응용에 관심이 있는 NLP 연구자, 헬스케어 연구자, 그리고 NLP 분야의 학생들입니다. 본 튜토리얼의 유형은 "CL/NLP 주제 입문(HealthcareNLP)"이며 청중은 참석을 위한 사전 지식이 필요하지 않습니다. 튜토리얼 자료: https://github.com/4dpicture/HealthNLP

arXiv:2607.15209v1cs.CL공통 태그 Sentiment Analysis, Named Entity Recognition

Ge'ez 기반 아프리카 언어 어휘 확장: Amharic과 Tigrinya 비교 연구

Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

다국어 사전학습(pre-trained) 언어 모델(PLM)은 자원이 적은 비라틴 문자(non-Latin-script) 언어에서 성능이 저하되는데, 이는 라틴 문자 중심의 토큰화(tokenization) 학습(training)으로 인한 높은 OOV(out-of-vocabulary) 비율과 과도한 서브워드(subword) 분절(fragmentation) 때문이다. 본 연구는 Ge'ez 문자 기반 언어 중 자원이 가장 풍부한 Amharic과 Tigrinya를 대상으로 하는 XLM-R의 어휘 확장(vocabulary-extended) 변형인 VEXMLM을 제안하며, 추가로 17개의 저자원 아프리카 언어(총 19개)에서도 평가한다. 큐레이션된 Amharic 및 Tigrinya 단일어(monolingual) 말뭉치로 언어별 SentencePiece 토크나이저를 학습하고, 이 토크나이저에서 파생된 30,000개의 Ge'ez 문자 서브워드를 XLM-R 어휘에 추가하며, XLM-R 원래 토크나이저 하에서 구성 서브워드 임베딩(embedding)의 평균으로 이들의 임베딩을 초기화(initialization)한다. VEXMLM은 두 단계로 학습된다: (1) 큐레이션된 말뭉치에서 확장 어휘에 대한 지속적 마스크 언어 모델링(masked language modeling), (2) 질의응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세조정(supervised fine-tuning). Amharic/Tigrinya QA에서 VEXMLM은 87.0 EM / 90.0 F1을 달성하며, XLM-R의 66.0 EM / 78.0 F1, Glot500의 74.0 EM / 78.0 F1을 상회한다. SA에서는 VEXMLM이 80.0% 정확도에 도달하며, XLM-R 77.0%, Glot500 46.0%를 넘는다. NER에서는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균한 OOV 토큰(token) 개체 정확도를 81.4%에서 94.3%로 높인다. 본 연구의 기여는 (i) Ge'ez 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차, (ii) Amharic/Tigrinya에서의 어휘 및 지속적 사전학습(continued pre-training) 이득이 17개의 형태론적으로 관련된 비증강(unaugmented) 아프리카 언어로 전이되는 이단계 학습 전략, (iii) 19개 언어 전반에 걸친 내재적(intrinsic) 토큰화 지표(어휘 커버리지, fertility, OOV 비율)와 외재적(extrinsic) 과제 성능에 대한 평가이다.

arXiv:2607.10715v1cs.CL공통 태그 Sentiment Analysis, Named Entity Recognition

슬라브어권 설득 기법 말뭉치

A Corpus of Persuasion Techniques in Slavic Languages

설득 기법은 다양한 미디어에서 여론을 움직이는 데 사용되는 강력한 수사적 도구이다. 우리는 슬라브어에 초점을 맞춘 새로운 설득 기법 말뭉치를 제시한다. 본 말뭉치는 불가리아어, 폴란드어, 러시아어로 작성된 문서를 포함하며, 거친 단위의 텍스트 범위 수준과 세밀한 문장 수준에서 설득 기법이 주석 처리되어 있다. 해당 기법들은 여섯 가지 광범위한 수사적 설득 전략 범주로 묶인 25개의 세밀한 설득 기법 분류 체계에서 도출된다. 본 말뭉치는 국내외적으로 뜨겁게 논의되는 주제를 다루는 222개 문서에서 약 7,500개의 텍스트 범위를 포함한다. 우리는 말뭉치 구축 과정을 설명하고 상세한 통계를 제공하며, 주제와 설득 기법 간의 상관관계를 분석한다. 텍스트 범위 수준 및 문장 수준에서 설득 기법의 탐지 및 분류(classification)를 위한 기준선과 벤치마크 결과를 제공하기 위해 고전적 ML 기반 모델과 생성형 AI 기반 모델을 활용한다.

arXiv:2607.11873v1cs.CL공통 태그 Sentiment Analysis, Cross-Lingual Transfer

검증된 교육 피드백 분류 프로토콜의 내구성 및 교차 언어 전이 벤치마크

A Durability and Cross-Language Transfer Benchmark for a Validated Teaching-Feedback Classification Protocol

기관들은 개방형 교육 평가 피드백을 읽는 양보다 훨씬 많이 수집한다. 선행 연구에서는 이러한 의견을 주제 범주와 감성으로 분류하는 검증된 프로토콜을 도입했으며, 이는 문서화된 어노테이션 가이드, 어노테이터 내부 신뢰도 측정, 층화 교차 검증, 동결 인코더 설계를 사용한 스페인어 기관 코퍼스의 홀드아웃 평가를 기반으로 구축되었다. 두 가지 의문점이 재사용을 제한한다: 2019년대 동결 임베딩에 고정된 프로토콜이 표현 방법이 발전함에 따라 경쟁력을 유지하는지, 그리고 두 번째 언어로 전이 가능한지 여부이다. 우리는 희소 어휘 특징, 동결 트랜스포머 임베딩, 프롬프트 기반 대규모 언어 모델(LLM)의 세 가지 표현 세대에 걸쳐 원래 스페인어 데이터로 이를 재실행하고, 균형 잡힌 45,000개 의견 코퍼스를 사용해 감성 태스크를 영어로 전이하며 측면 레이블이 부여된 교육 데이터셋과 대조 검증한다. 쌍 비교를 서술적으로 처리한 결과, 프로토콜이 내구성을 갖춤을 확인했다: 2026년 최전선 모델이 가장 어려운 스페인어 태스크에서 가장 높은 주제 F1을 기록했지만, 저비용 모델 대비 감성에서의 우위가 없고 영어에서도 서술적 분리가 없어, 모델 선택은 방법론의 속성이 아닌 배포 결정임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.