arXiv:2406.17377

A Three-Pronged Approach to Cross-Lingual Adaptation with Multilingual LLMs

Vaibhav Singh, Amrith Krishna, Karthika NJ, Ganesh Ramakrishnan

제출 2024-06-25

원문 초록

Low-resource languages, by its very definition, tend to be under represented in the pre-training corpora of Large Language Models. In this work, we investigate three low-resource cross-lingual approaches that enable an LLM adapt to tasks in previously unseen languages. Llama-2 is an LLM where Indic languages, among many other language families, contribute to less than $0.005\%$ of the total $2$ trillion token pre-training corpora. In this work, we experiment with the English-dominated Llama-2 for cross-lingual transfer to three Indic languages, Bengali, Hindi, and Tamil as target languages. We study three approaches for cross-lingual transfer, under ICL and fine-tuning. One, we find that adding additional supervisory signals via a dominant language in the LLM, leads to improvements, both under in-context learning and fine-tuning. Two, adapting the target languages to word reordering may be beneficial under ICL, but its impact diminishes with fine tuning. Finally, continued pre-training in one low-resource language can improve model performance for other related low-resource languages.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.31718v1cs.CL공통 태그 Cross-Lingual Transfer, In-Context Learning

대규모 언어 모델을 활용한 교차 언어 관계 추출: 루마니아어에 대한 제로샷, 퓨샷 및 미세조정 평가

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

저자원 언어의 관계 추출(RE)은 일반적으로 주석 코퍼스의 부재로 인해 제약을 받는다. 본 연구는 자동 데이터셋 번역과 대규모 언어 모델(LLM) 추론을 결합하여 루마니아어에 대한 교차 언어 RE의 실현 가능성을 탐구한다. SemEval-2010 Task 8 벤치마크를 LLM 기반 번역 파이프라인을 통해 영어에서 루마니아어로 번역하고, 제로샷, 퓨샷, QLoRA 미세조정 설정 하에서 Gemma 4 31B를 평가하였으며, 125M에서 560M 파라미터 규모의 네 가지 인코더 기준 모델인 XLM-RoBERTa(base 및 large), Romanian BERT, RoBERT-large와 비교하였다. 표시된 개체를 활용한 관계 분류와 종단 간 추출이라는 두 가지 태스크 형식을 평가하였다. 결과에 따르면, 루마니아어는 프롬프트 단독 설정에서 영어 대비 3~5 퍼센트포인트(pp) 하락이 발생하였고, 퓨샷 프롬프팅은 제로샷 대비 미미한 성능 향상만을 제공하였으며, QLoRA 미세조정은 두 언어 모두에서 매크로 F1-Score를 22 퍼센트포인트 이상 향상시키면서 교차 언어 격차를 3.3pp에서 1.4pp로 줄였다. 인코더 기준 모델들은 QLoRA Gemma보다 50~250배 작음에도 불구하고 루마니아어에서 1~4pp 이내의 성능 차이를 보였으며, 125M 파라미터의 단일 언어 Romanian BERT는 278M 파라미터의 다국어 XLM-R에 필적하는 성능을 달성하였다. 따라서 컴퓨팅 자원이 중요한 배포 환경에서는 루마니아어 단일 태스크 RE를 위해 31B 모델을 사용하는 근거가 약하다. 번역된 데이터셋, 평가 코드, 학습된 모델을 공개한다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2606.21954v2cs.CL공통 태그 Cross-Lingual Transfer

Are Multilingual Models Actually Improving? Revisiting Cross-Lingual Transfer

교차언어 전이(cross-lingual transfer)는 모델이 충분히 대표되는 소스 언어에서 과소 대표되는 타깃 언어로 능력을 일반화하는 능력이다. 기존의 모델 전이 강도 측정치는 전이 개선과 소스 언어 정확도의 일반적 개선을 혼동한다. 우리는 전이 강도를 신뢰성 있게 포착하는 대안 지표인 Hardness Adjusted Transfer(HAT) Score를 제안하고, 이를 사용해 전이 강도에 영향을 미치는 요인에 대한 여러 통찰을 도출한다. 20개의 다양한 언어 모델과 3개의 주류 다국어 벤치마크에 걸친 분석은 1) 소형 모델에서의 전이는 망가지지 않았으며, 2) 모델 크기에 따른 교차언어 전이의 진행 속도는 기대보다 느리고, 3) 시간 경과에 따른 뚜렷한 진전이 이루어졌음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.