Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT
원문 초록
Multilingual BERT (mBERT), a language model pre-trained on large multilingual corpora, has impressive zero-shot cross-lingual transfer capabilities and performs surprisingly well on zero-shot POS tagging and Named Entity Recognition (NER), as well as on cross-lingual model transfer. At present, the mainstream methods to solve the cross-lingual downstream tasks are always using the last transformer layer's output of mBERT as the representation of linguistic information. In this work, we explore the complementary property of lower layers to the last transformer layer of mBERT. A feature aggregation module based on an attention mechanism is proposed to fuse the information contained in different layers of mBERT. The experiments are conducted on four zero-shot cross-lingual transfer datasets, and the proposed method obtains performance improvements on key multilingual benchmark tasks XNLI (+1.5 %), PAWS-X (+2.4 %), NER (+1.2 F1), and POS (+1.5 F1). Through the analysis of the experimental results, we prove that the layers before the last layer of mBERT can provide extra useful information for cross-lingual downstream tasks and explore the interpretability of mBERT empirically.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
IntLawNER: 국제법 개체명 인식 데이터셋 및 벤치마크
IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law
국제법은 국가들이 행동을 조율하고, 무력 충돌을 규율하며, 인권을 보호하는 규범적 틀을 제공하지만, 그 텍스트에는 여전히 토큰 수준의 개체명 인식(NER) 자원이 없다. 본 논문은 국제법의 성문화된 출처를 위한 NER 데이터셋 및 벤치마크인 IntLawNER를 소개한다. 국제사법재판소(ICJ) 판결, UN 안전보장이사회 결의, 유럽인권재판소(ECtHR) 판결에서 2,987개의 gold 주석 문장과 8,094개의 개체 스팬을 포함하며, 기관별 7가지 개체 유형으로 주석되었다. IntLawNER는 후보 검색, LLM 기반 검증, 인간 검토를 거치는 비용 효율적인 하이브리드 알고리즘-에이전트 파이프라인으로 구축하였으며, 46만 8천 개의 원문 문장을 축소된 주석 집합으로 줄였고, gold 스팬의 89.6%는 silver 층에서 변경 없이 수용되었다. 그러나 silver-to-gold 분석은 도메인 특화 NER에서 인간-기계 집계 일치 지표가 오해를 불러일으킬 수 있음을 보여준다. 경계가 일치하는 스팬에 대한 Cohen's kappa=0.964는 누락된 개체, 경계 오류, 라벨 수정을 포함하면 macro-F1이 0.753인 사실을 가린다. 벤치마크는 제로샷 span 기반 GLiNER가 표면 형태보다 기관적 기능에 의존하는 개체 유형에서 붕괴함(0.243 micro-F1)을 보여 주며, 파인튜닝된 트랜스포머는 희귀 라벨에서 어려움을 겪는다. 라벨 대비를 보여 주는 신중히 선정된 퓨샷(few-shot) 예시는 모든 LLM의 제로샷 프롬프팅 성능을 향상시키며, Claude Opus 4.6이 0.873 micro-F1의 최고 점수를 기록했다. IntLawNER를 국제법 텍스트에서 참조를 추출하기 위한 벤치마크 및 재사용 가능한 자원으로 공개한다.
저자원 개체명 인식을 위한 BERT 기반 모델 대 대규모 언어 모델: 마라티어 비교 연구
BERT-based Models vs. Large Language Models for Low-Resource Named Entity Recognition: A Comparative Study on Marathi
마라티어와 같은 저자원 언어에서의 개체명 인식(NER)은 주석 리소스의 제한과 언어적 복잡성으로 인해 여전히 어려운 과제이다. 최근 대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 과제에서 우수한 성능을 보여왔지만, 저자원 환경에서 특정 언어에 대한 NER에 대한 그 효과는 여전히 불확실하다. 본 연구에서는 MahaNER 데이터셋의 여러 변형에 대해 MahaBERT-v2를 파인튜닝하고, 이러한 모델의 성능을 기존 MahaNER 기준선 및 Gemini, LLaMA-3.3-70B, Gemma 모델을 포함한 주요 범용 LLM과 체계적으로 비교한다. 모든 모델은 마라티어 NER 테스트 데이터셋에서 정밀도, 재현율, F1-score 등 표준 지표로 평가된다. 실험 결과, 파인튜닝된 MahaBERT 기반 모델은 기준선과 평가된 모든 LLM을 일관되게 능가하며, 파인튜닝된 모델은 0.88~0.91의 F1-score를 달성하여 기존 MahaNER 모델(0.8843)을 상회하고, F1-score가 0.57~0.69인 LLM 기반 접근법의 성능을 크게 초과한다. 이러한 결과는 도메인 관련 데이터로 학습된 과제 특화·언어 중심 모델이 마라티어 NER에서 범용 LLM보다 여전히 더 효과적임을 보여주며, 저자원 언어 처리를 위한 특화 아키텍처의 지속적인 중요성을 강조한다.
Ge'ez 기반 아프리카 언어 어휘 확장: Amharic과 Tigrinya 비교 연구
Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya
다국어 사전학습(pre-trained) 언어 모델(PLM)은 자원이 적은 비라틴 문자(non-Latin-script) 언어에서 성능이 저하되는데, 이는 라틴 문자 중심의 토큰화(tokenization) 학습(training)으로 인한 높은 OOV(out-of-vocabulary) 비율과 과도한 서브워드(subword) 분절(fragmentation) 때문이다. 본 연구는 Ge'ez 문자 기반 언어 중 자원이 가장 풍부한 Amharic과 Tigrinya를 대상으로 하는 XLM-R의 어휘 확장(vocabulary-extended) 변형인 VEXMLM을 제안하며, 추가로 17개의 저자원 아프리카 언어(총 19개)에서도 평가한다. 큐레이션된 Amharic 및 Tigrinya 단일어(monolingual) 말뭉치로 언어별 SentencePiece 토크나이저를 학습하고, 이 토크나이저에서 파생된 30,000개의 Ge'ez 문자 서브워드를 XLM-R 어휘에 추가하며, XLM-R 원래 토크나이저 하에서 구성 서브워드 임베딩(embedding)의 평균으로 이들의 임베딩을 초기화(initialization)한다. VEXMLM은 두 단계로 학습된다: (1) 큐레이션된 말뭉치에서 확장 어휘에 대한 지속적 마스크 언어 모델링(masked language modeling), (2) 질의응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세조정(supervised fine-tuning). Amharic/Tigrinya QA에서 VEXMLM은 87.0 EM / 90.0 F1을 달성하며, XLM-R의 66.0 EM / 78.0 F1, Glot500의 74.0 EM / 78.0 F1을 상회한다. SA에서는 VEXMLM이 80.0% 정확도에 도달하며, XLM-R 77.0%, Glot500 46.0%를 넘는다. NER에서는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균한 OOV 토큰(token) 개체 정확도를 81.4%에서 94.3%로 높인다. 본 연구의 기여는 (i) Ge'ez 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차, (ii) Amharic/Tigrinya에서의 어휘 및 지속적 사전학습(continued pre-training) 이득이 17개의 형태론적으로 관련된 비증강(unaugmented) 아프리카 언어로 전이되는 이단계 학습 전략, (iii) 19개 언어 전반에 걸친 내재적(intrinsic) 토큰화 지표(어휘 커버리지, fertility, OOV 비율)와 외재적(extrinsic) 과제 성능에 대한 평가이다.
CrimeNER Demo: 범죄 도메인 개체명 인식
CrimeNER Demo: Named-Entity Recognition in the Crime Domain
우리는 문서에서 일반적인 범죄 관련 정보를 추출하고 두 단계의 세분화 수준으로 개체 유형에 분류할 수 있는 AI 기반 플랫폼인 CrimeNER Demo를 소개한다. CrimeNER 데이터베이스에 대해 사전학습(pre-training)된 NER 모델을 제공하며, 사용자가 자신의 주석(annotated) 데이터를 제공하여 특정 사례에 맞는 모델을 학습할 수 있도록 한다. 이 시연 플랫폼은 범죄 관련 NER 연구를 촉진하고, 연구자와 법 집행 기관을 위한 범죄 정보 자동 추출 실용 도구를 제공하는 것을 목표로 한다. 이 시연 플랫폼에는 다음이 포함된다: i) 범죄 도메인에 대한 사전학습된 NER 모델; ii) 사용자가 주석을 단 특정 데이터에 대해 모델을 파인튜닝(fine-tuning)할 수 있는 기능; iii) 문서에서 범죄 개체를 추출하고 주석을 달기 위한 자동 파이프라인. 데모 플랫폼, 데모 실행 튜토리얼, 비디오 시연은 GitHub에서 공개로 제공된다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.