arXiv:2311.14727

Optimal Strategies to Perform Multilingual Analysis of Social Content for a Novel Dataset in the Tourism Domain

Maxime Masson, Rodrigo Agerri, Christian Sallaberry, Marie-Noelle Bessagnet, Annig Le Parc Lacayrelle, Philippe Roose

제출 2023-11-20

원문 초록

The rising influence of social media platforms in various domains, including tourism, has highlighted the growing need for efficient and automated natural language processing (NLP) approaches to take advantage of this valuable resource. However, the transformation of multilingual, unstructured, and informal texts into structured knowledge often poses significant challenges. In this work, we evaluate and compare few-shot, pattern-exploiting and fine-tuning machine learning techniques on large multilingual language models (LLMs) to establish the best strategy to address the lack of annotated data for 3 common NLP tasks in the tourism domain: (1) Sentiment Analysis, (2) Named Entity Recognition, and (3) Fine-grained Thematic Concept Extraction (linked to a semantic resource). Furthermore, we aim to ascertain the quantity of annotated examples required to achieve good performance in those 3 tasks, addressing a common challenge encountered by NLP researchers in the construction of domain-specific datasets. Extensive experimentation on a newly collected and annotated multilingual (French, English, and Spanish) dataset composed of tourism-related tweets shows that current few-shot learning techniques allow us to obtain competitive results for all three tasks with very little annotation data: 5 tweets per label (15 in total) for Sentiment Analysis, 10% of the tweets for location detection (around 160) and 13% (200 approx.) of the tweets annotated with thematic concepts, a highly fine-grained sequence labeling task based on an inventory of 315 classes. This comparative analysis, grounded in a novel dataset, paves the way for applying NLP to new domain-specific applications, reducing the need for manual annotations and circumventing the complexities of rule-based, ad hoc solutions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22529v1cs.AI공통 태그 Few-Shot Learning, Named Entity Recognition

IntLawNER: 국제법 개체명 인식 데이터셋 및 벤치마크

IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law

국제법은 국가들이 행동을 조율하고, 무력 충돌을 규율하며, 인권을 보호하는 규범적 틀을 제공하지만, 그 텍스트에는 여전히 토큰 수준의 개체명 인식(NER) 자원이 없다. 본 논문은 국제법의 성문화된 출처를 위한 NER 데이터셋 및 벤치마크인 IntLawNER를 소개한다. 국제사법재판소(ICJ) 판결, UN 안전보장이사회 결의, 유럽인권재판소(ECtHR) 판결에서 2,987개의 gold 주석 문장과 8,094개의 개체 스팬을 포함하며, 기관별 7가지 개체 유형으로 주석되었다. IntLawNER는 후보 검색, LLM 기반 검증, 인간 검토를 거치는 비용 효율적인 하이브리드 알고리즘-에이전트 파이프라인으로 구축하였으며, 46만 8천 개의 원문 문장을 축소된 주석 집합으로 줄였고, gold 스팬의 89.6%는 silver 층에서 변경 없이 수용되었다. 그러나 silver-to-gold 분석은 도메인 특화 NER에서 인간-기계 집계 일치 지표가 오해를 불러일으킬 수 있음을 보여준다. 경계가 일치하는 스팬에 대한 Cohen's kappa=0.964는 누락된 개체, 경계 오류, 라벨 수정을 포함하면 macro-F1이 0.753인 사실을 가린다. 벤치마크는 제로샷 span 기반 GLiNER가 표면 형태보다 기관적 기능에 의존하는 개체 유형에서 붕괴함(0.243 micro-F1)을 보여 주며, 파인튜닝된 트랜스포머는 희귀 라벨에서 어려움을 겪는다. 라벨 대비를 보여 주는 신중히 선정된 퓨샷(few-shot) 예시는 모든 LLM의 제로샷 프롬프팅 성능을 향상시키며, Claude Opus 4.6이 0.873 micro-F1의 최고 점수를 기록했다. IntLawNER를 국제법 텍스트에서 참조를 추출하기 위한 벤치마크 및 재사용 가능한 자원으로 공개한다.

arXiv:2609.24625v1cs.AI공통 태그 Few-Shot Learning, Named Entity Recognition

글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류

Custom Named Entity Recognition and Topic Classification for Global Health Publications

주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.

arXiv:2607.15209v1cs.CL공통 태그 Sentiment Analysis, Named Entity Recognition

Ge'ez 기반 아프리카 언어 어휘 확장: Amharic과 Tigrinya 비교 연구

Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

다국어 사전학습(pre-trained) 언어 모델(PLM)은 자원이 적은 비라틴 문자(non-Latin-script) 언어에서 성능이 저하되는데, 이는 라틴 문자 중심의 토큰화(tokenization) 학습(training)으로 인한 높은 OOV(out-of-vocabulary) 비율과 과도한 서브워드(subword) 분절(fragmentation) 때문이다. 본 연구는 Ge'ez 문자 기반 언어 중 자원이 가장 풍부한 Amharic과 Tigrinya를 대상으로 하는 XLM-R의 어휘 확장(vocabulary-extended) 변형인 VEXMLM을 제안하며, 추가로 17개의 저자원 아프리카 언어(총 19개)에서도 평가한다. 큐레이션된 Amharic 및 Tigrinya 단일어(monolingual) 말뭉치로 언어별 SentencePiece 토크나이저를 학습하고, 이 토크나이저에서 파생된 30,000개의 Ge'ez 문자 서브워드를 XLM-R 어휘에 추가하며, XLM-R 원래 토크나이저 하에서 구성 서브워드 임베딩(embedding)의 평균으로 이들의 임베딩을 초기화(initialization)한다. VEXMLM은 두 단계로 학습된다: (1) 큐레이션된 말뭉치에서 확장 어휘에 대한 지속적 마스크 언어 모델링(masked language modeling), (2) 질의응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세조정(supervised fine-tuning). Amharic/Tigrinya QA에서 VEXMLM은 87.0 EM / 90.0 F1을 달성하며, XLM-R의 66.0 EM / 78.0 F1, Glot500의 74.0 EM / 78.0 F1을 상회한다. SA에서는 VEXMLM이 80.0% 정확도에 도달하며, XLM-R 77.0%, Glot500 46.0%를 넘는다. NER에서는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균한 OOV 토큰(token) 개체 정확도를 81.4%에서 94.3%로 높인다. 본 연구의 기여는 (i) Ge'ez 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차, (ii) Amharic/Tigrinya에서의 어휘 및 지속적 사전학습(continued pre-training) 이득이 17개의 형태론적으로 관련된 비증강(unaugmented) 아프리카 언어로 전이되는 이단계 학습 전략, (iii) 19개 언어 전반에 걸친 내재적(intrinsic) 토큰화 지표(어휘 커버리지, fertility, OOV 비율)와 외재적(extrinsic) 과제 성능에 대한 평가이다.

arXiv:2607.10715v1cs.CL공통 태그 Sentiment Analysis, Named Entity Recognition

슬라브어권 설득 기법 말뭉치

A Corpus of Persuasion Techniques in Slavic Languages

설득 기법은 다양한 미디어에서 여론을 움직이는 데 사용되는 강력한 수사적 도구이다. 우리는 슬라브어에 초점을 맞춘 새로운 설득 기법 말뭉치를 제시한다. 본 말뭉치는 불가리아어, 폴란드어, 러시아어로 작성된 문서를 포함하며, 거친 단위의 텍스트 범위 수준과 세밀한 문장 수준에서 설득 기법이 주석 처리되어 있다. 해당 기법들은 여섯 가지 광범위한 수사적 설득 전략 범주로 묶인 25개의 세밀한 설득 기법 분류 체계에서 도출된다. 본 말뭉치는 국내외적으로 뜨겁게 논의되는 주제를 다루는 222개 문서에서 약 7,500개의 텍스트 범위를 포함한다. 우리는 말뭉치 구축 과정을 설명하고 상세한 통계를 제공하며, 주제와 설득 기법 간의 상관관계를 분석한다. 텍스트 범위 수준 및 문장 수준에서 설득 기법의 탐지 및 분류(classification)를 위한 기준선과 벤치마크 결과를 제공하기 위해 고전적 ML 기반 모델과 생성형 AI 기반 모델을 활용한다.

arXiv:2606.31718v1cs.CL공통 태그 Few-Shot Learning, Named Entity Recognition

대규모 언어 모델을 활용한 교차 언어 관계 추출: 루마니아어에 대한 제로샷, 퓨샷 및 미세조정 평가

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

저자원 언어의 관계 추출(RE)은 일반적으로 주석 코퍼스의 부재로 인해 제약을 받는다. 본 연구는 자동 데이터셋 번역과 대규모 언어 모델(LLM) 추론을 결합하여 루마니아어에 대한 교차 언어 RE의 실현 가능성을 탐구한다. SemEval-2010 Task 8 벤치마크를 LLM 기반 번역 파이프라인을 통해 영어에서 루마니아어로 번역하고, 제로샷, 퓨샷, QLoRA 미세조정 설정 하에서 Gemma 4 31B를 평가하였으며, 125M에서 560M 파라미터 규모의 네 가지 인코더 기준 모델인 XLM-RoBERTa(base 및 large), Romanian BERT, RoBERT-large와 비교하였다. 표시된 개체를 활용한 관계 분류와 종단 간 추출이라는 두 가지 태스크 형식을 평가하였다. 결과에 따르면, 루마니아어는 프롬프트 단독 설정에서 영어 대비 3~5 퍼센트포인트(pp) 하락이 발생하였고, 퓨샷 프롬프팅은 제로샷 대비 미미한 성능 향상만을 제공하였으며, QLoRA 미세조정은 두 언어 모두에서 매크로 F1-Score를 22 퍼센트포인트 이상 향상시키면서 교차 언어 격차를 3.3pp에서 1.4pp로 줄였다. 인코더 기준 모델들은 QLoRA Gemma보다 50~250배 작음에도 불구하고 루마니아어에서 1~4pp 이내의 성능 차이를 보였으며, 125M 파라미터의 단일 언어 Romanian BERT는 278M 파라미터의 다국어 XLM-R에 필적하는 성능을 달성하였다. 따라서 컴퓨팅 자원이 중요한 배포 환경에서는 루마니아어 단일 태스크 RE를 위해 31B 모델을 사용하는 근거가 약하다. 번역된 데이터셋, 평가 코드, 학습된 모델을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.