PyTorchKR Papers

최신 논문

총 49편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15757v1cs.CL

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2610.13398v1cs.CL

세계의 지붕을 향하여: 티베트어 자연어처리(NLP)의 진전

Towards the Roof of the World: NLP Progress in Tibetan Languages

티베트어는 청장고원(靑藏高原, Qinghai-Xizang Plateau) 및 그 주변 지역에서 약 700만 명이 사용하는 언어이지만, 자연어처리(NLP) 분야에서는 여전히 충분히 다루어지지 않고 있다. 본 논문은 우리가 아는 한 티베트어 NLP에 대한 최초의 동료 심사를 거친 체계적 서지 계량(bibliometric) 조사를 제시한다: ACL Anthology와 DBLP에 등재된 2004년부터 2026년까지의 140편의 출판물을 대상으로 발표 매체 유형, 연구 분야, 제1저자 소속 기관의 국가, 자원 공개 여부를 주석(annotate)하였다. 연구 성과는 빠르게 증가해 왔으며, 전체 출판물의 84%가 2018년 이후에 발표되었고, 코퍼스(corpora)와 단어 분절(word segmentation)에서 문자, 음성, 응용을 거쳐 대규모 언어 모델(LLM)에 이르기까지 NLP 파이프라인을 따라 상향식(bottom-up)으로 확장되어 왔다. 중국에 소재한 연구자들이 전체 출판물의 87%에서 제1저자였으며, 이들의 연구는 조사에서 대표된 25개 연구 분야 전체를 포괄하는 반면, 다른 국가의 연구는 고전 티베트어(Classical Tibetan)에 집중되어 있다. 우리는 복잡한 문자 체계, 방언적 다양성, 지리적 고립이라는 복합적 제약 속에서 구현된 이러한 전체 파이프라인 패러다임이 글로벌 사우스(Global South)의 다른 저자원(low-resource) 언어들에게 참조 모델을 제공한다고 주장한다. 또한 우리는 방언 범위, 책임있는(responsible) NLP, 네이티브 및 비교 가능한 평가, 커뮤니티 간 가시성, 자원 공개(출판물 중 데이터, 코드, 또는 모델을 공개한 비율은 29%에 불과함)에서의 격차를 확인하며, LLM 시대를 위한 오픈 사이언스(open science), 공유 표준, 커뮤니티 참여를 권고한다.

arXiv:2610.13370v1cs.CL

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2606.11542v2cs.CL

사전학습된 자기지도 음성 모델은 미학습된 자음을 인식할 수 있다

Pretrained self-supervised speech models can recognize unseen consonants

현대의 사전학습된 자기지도 자동 음성 인식(ASR) 모델은 대규모 오디오 데이터로 학습되어 음성을 문맥화된 표현으로 인코딩합니다. 그러나 학습 데이터가 저자원 언어 데이터는 거의 없이 고자원 언어에 크게 치우쳐 있어, 주로 코이산(Khoisan)어족 언어에서 발견되는 흡착음(click consonant, 클릭 자음)처럼 유형론적으로 흔치 않은 말소리가 제대로 표현되지 못할 수 있다는 우려가 제기됩니다. 이는 본 연구의 핵심 질문으로 이어집니다. 이러한 모델들이 다른 말소리만큼 흡착음을 정확하게 인식할 수 있을까요? 이 질문을 해결하기 위해, 본 연구에서는 흡착음이 풍부한 두 코이산어(G|ui 및 West !Xoon) 데이터를 바탕으로 사전학습된 자기지도 음성 모델(Wav2Vec2 및 HuBERT)을 파인튜닝(fine-tuning)하고 비교합니다. 실험 결과, 파인튜닝된 모델들이 비흡착음보다 흡착음을 일관되게 더 정확하게 인식함을 확인했으며, 이는 자기지도 학습이 희귀 음소를 포함한 인간 말소리 전반에 걸친 일반화를 가능하게 함을 시사합니다.

arXiv:2512.05414v4cs.CL

LMSpell: 사전학습 언어 모델을 활용한 맞춤법 교정

LMSpell: Spell Correction with Pre-Trained Language Models

맞춤법 교정(spell correction)은 많은 언어, 특히 저자원 언어(low-resource language, LRL)에서 여전히 어려운 문제이다. 사전학습 언어 모델(pre-trained language model, PLM)이 맞춤법 교정에 활용되어 왔지만, PLM들 간의 제대로 된 비교는 이루어진 적이 없었다. 본 논문에서는 저자원 언어를 포함한 여러 언어에 걸쳐 세 가지 유형의 PLM이 맞춤법 교정에 미치는 효과에 대한 최초의 실증 연구를 제시한다. 우리는 2억 7천만 매개변수 규모의 Gemma 3와 mBART50과 같이 비교적 작은 PLM도 단 5천 개 문장으로 구성된 데이터셋으로 파인튜닝(fine-tuning)하면 규칙 기반 맞춤법 교정기를 능가할 수 있음을 보이며, 이는 제한된 데이터로 효과적인 맞춤법 교정 시스템을 구축할 수 있는 실용적인 경로를 제시한다. 또한 저자원 언어의 맞춤법 교정이 처한 어려움을 조명하기 위해 싱할라어(Sinhala)에 대한 사례 연구도 제시한다.

arXiv:2606.11009v2cs.CL

누가 이드(Eid) 축제에 부활절 달걀을 가져왔는가? 언어 및 지역 전반에 걸친 수학 문장제 문제의 LLM 생성 문화적 번역 감사

Who Brought Easter Eggs to Eid? Auditing LLM-Generated Cultural Translation of Math Word Problems Across Languages and Regions

대규모 언어 모델(LLM)은 개인 맞춤형 학습을 대규모로 지원하기 위해 수학 문장제 문제를 각색하는 데 점점 더 많이 활용되고 있지만, 이러한 각색이 모델 간에 일관적인지, 대규모 환경에서 문화적 다양성을 보존하는지, 그리고 모델이 어떤 문화적 개체를 가장 두드러진 것으로 취급하는지를 밝혀내는 문제는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 Claude Opus 4, GPT-4.1, Gemini 2.5 Pro가 60개의 영어 수학 문장제 문제를 벵골어, 힌디어, 펀자브어(인도), 우르두어, 신디어(파키스탄), 이탈리아어, 시칠리아어(이탈리아)로 어떻게 각색하는지 분석합니다. 이 언어 구성은 고자원 언어인 이탈리아어 및 힌디어부터 연구가 부족한 신디어, 시칠리아어, 펀자브어에 이르기까지 전체 자원 스펙트럼을 아우릅니다. 저자들은 6,489개의 개체 변환을 주석 처리하여, 모델이 이름, 음식, 장소와 같은 개체를 보존하는지, 현지화하는지, 일반화하는지, 생략하는지, 혹은 변경하는지 코딩했습니다. 모델들은 변환 유형에 대해서는 62.5%의 사례에서 일치했으나, 구체적인 대체 항목에 대해서는 33.5%에서만 일치했는데, 이는 모델 선택이 학생들이 접하는 문화적 세계를 직접적으로 형성함을 의미합니다. 21개의 모든 언어-모델 조합에서 엔트로피 붕괴가 나타났으며, 각색 과정에서 문화적 다양성이 확장되기보다는 압축되었습니다. 모델들은 이름, 음식, 통화와 같은 표면적 표지를 우선시하는 반면, 문화적으로 특정한 가정을 내포하는 학년제 시스템과 같은 더 깊은 구조적 특징은 그대로 유지했습니다. 대상 국가를 명시한 프롬프트에도 불구하고, 모델들은 인도 벵골어권 학생들에게 방글라데시 타카를 사용하는 등 지역적 맥락을 잘못 귀속시키고, 달걀 찾기를 이드 활동으로 각색하는 것과 같은 문화 간 교차 오염을 유발했습니다. 일부 실패 사례는 개별 번역에서 명확히 드러납니다. 다양성 붕괴, 표면적 표지에 대한 체계적 선호, 일관된 지역적 오귀속을 포함한 다른 실패 요소들은 말뭉치 수준의 분석을 통해서만 드러납니다. 각색된 문제를 올바르게 보이게 만드는 표면적 타당성이야말로 오히려 더 깊은 수준의 실패를 쉽게 간과하게 만드는 요인입니다.

arXiv:2509.17988v2eess.AS

Nord-Parl-TTS: 의회 발언 기반 핀란드어 및 스웨덴어 TTS 데이터셋

Nord-Parl-TTS: Finnish and Swedish TTS Dataset from Parliament Speech

텍스트 음성 변환(TTS)의 발전은 소수의 고자원 언어를 제외한 대부분의 언어에서 공개적으로 사용 가능한 고품질 음성 데이터의 부족으로 인해 제한을 받고 있습니다. 본 연구에서는 야생 환경(in-the-wild)의 음성을 기반으로 구축한 핀란드어 및 스웨덴어용 공개 TTS 데이터셋인 Nord-Parl-TTS를 제시합니다. 북유럽 의회 회의록 녹음본을 활용하여 TTS 학습에 적합한 핀란드어 900시간과 스웨덴어 5090시간 분량의 음성을 추출했습니다. 이 데이터셋은 Emilia 데이터 처리 파이프라인의 변형 버전을 사용하여 구축되었으며, 모델 개발 및 벤치마킹을 지원하기 위해 통합 평가 세트를 포함합니다. Nord-Parl-TTS는 핀란드어와 스웨덴어에 대한 대규모 공개 데이터를 제공함으로써, TTS 분야에서 고자원 언어와 저자원 언어 간의 자원 격차를 좁힙니다.

arXiv:2610.03367v1cs.AI

다국어 GSM-Symbolic: 언어 간 능력 전이를 결정하는 요인은 무엇인가?

Multilingual GSM-Symbolic: What determines capability transfer across languages?

한 언어에서 습득된 능력이 다른 언어로 어떻게 전이되는지, 혹은 무엇이 이러한 전이를 지배하는지에 대해서는 알려진 바가 거의 없습니다. 기존 평가는 비교 불가능하고 포화되기 쉬운 데이터셋에 의존하며 전이의 결정 요인들을 함께 검토하는 경우가 드뭅니다. 전이를 예측하는 요인을 식별하면 모든 언어 쌍에 걸친 소모적인 평가를 피할 수 있으며, 개발자가 저자원 언어에서의 성능을 제한하는 요소를 집중 공략할 수 있게 됩니다. 교차 언어 능력 전이를 평가하기 위해, 본 연구에서는 15개 언어에 걸쳐 항목별로 매칭된 30,000개의 질문-답변 쌍을 포괄하는 확장 가능한 다국어 수학 데이터셋인 Multilingual GSM-Symbolic을 소개합니다. 이 데이터셋은 단일 샘플로부터 수백만 개의 고품질 변형 생성을 가능하게 함으로써 과적합을 방지하고 일반화를 보장하기 위해 기호 템플릿을 활용합니다. Multilingual GSM-Symbolic을 사용하여 능력의 가장 큰 결정 요인을 모델 크기($β= 1.77$), 언어 자원 수준($β= 0.77$), 추론($β= 0.67$), 언어유형학적 거리($β= -0.25$)로 정량화합니다. 이러한 공동 추정을 통해 결정 요인들을 상호 간의 관계로 표현할 수 있습니다. 즉, 마라티어로 평가된 32B 모델은 영어에서의 10B 모델과 유사하게 동작합니다. 본 연구 결과는 모델 개발자에게 중요한 시사점을 제공하며, 모델 크기와 추론 능력이 저자원 언어와 고자원 언어 간의 성능 격차를 좁히는 반면($β= -0.27$ 및 $β= -0.20$), 유사한 수단들이 언어유형학적으로 거리가 먼 언어에는 거의 또는 전혀 영향을 미치지 않음을 보여줍니다. 전반적으로 본 분석 프레임워크는 언어 간 변량의 92%를 설명하지만 모델-언어 간 변량은 23%만 설명하며, 확인되지 않은 언어에 대한 모델의 성능을 6.0%p 이내로 예측합니다(r=.96). 타깃 언어에서 단 10개 템플릿의 측정값을 통합하면 이를 4.19%p로 낮출 수 있어, 다운스트림 데이터셋이 거의 없거나 아예 없는 상황에서도 합리적인 성능 추정이 가능해집니다.

arXiv:2606.01322v2cs.CL

TukaBench: 아프리카 언어를 위한 문화적 그라운딩 기반 탈옥 벤치마크

TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages

대규모 언어 모델(LLM)의 안전성(safety) 평가는 여전히 영어 중심적이어서, 저자원 언어(LRL), 특히 아프리카 언어에 대한 탐색은 심각하게 부족한 상황이다. 본 논문에서는 JBB(JailbreakBench) 프롬프트의 인간 번역, 아프리카 맥락에 맞춘 영어 각색 후 인간 번역, GPT-5.2와의 상호작용을 통해 검증된 인간 큐레이션 프롬프트, 그리고 영어와 아프리카 언어를 결합한 코드 스위칭 프롬프트의 네 가지 설정을 통해 단순 번역을 넘어 JailbreakBench(JBB)를 확장한 7개 아프리카 언어 대상 탈옥 벤치마크인 TUKABENCH를 소개하며, 언어, 문화적 그라운딩(cultural grounding), 프롬프트 회피성이 모델 안전성에 미치는 영향을 분리하여 분석한다. 폐쇄형 및 오픈형 모델 전반에서 아프리카 언어로 프롬프팅할 경우 영어 대비 거부율이 감소하며, 문화적으로 각색된 프롬프트가 가장 낮은 거부율을 보였다. 또한 본 평가는 저자원 언어에서의 모델 이해 실패와 LLM-as-a-judge 신뢰도 저하라는 두 가지 구조적 한계를 드러낸다. 첫 번째 문제를 포착하기 위해 저자들은 Refused(거부) 및 Jailbroken(탈옥)과 함께 Deflection(회피/빗겨가기)을 도입하고, 두 번째 문제를 평가하기 위해 인간 주석으로 출력을 검증하여 자원이 더 부족한 언어와 덜 보편적으로 지원되는 문자 체계에서 판정관과 인간 간의 일치도가 떨어진다는 점을 보여준다.

arXiv:2609.25833v1cs.CL

ARAFA: LLM으로 생성한 아랍어 팩트체킹 데이터셋

ARAFA: An LLM-Generated Arabic Fact-Checking Dataset

자동 팩트체킹(fact-checking)은 데이터셋과 자원의 부족으로 인해 아랍어 자연어 처리(NLP)에서 중요한 과제로 남아 있다. 본 논문에서는 대규모 언어 모델(LLM)을 활용한 자동화된 프레임워크로 구축한, 현대 표준 아랍어(Modern Standard Arabic) 팩트체킹을 위한 새로운 대규모 데이터셋 Arafa를 소개한다. 이 데이터셋은 세 단계 파이프라인으로 구축되었다. (1) 뒷받침하는 텍스트 근거와 함께 아랍어 위키백과 페이지에서 주장(claim)을 생성하고, (2) 주장 변형(claim mutation)을 통해 반박 근거를 갖춘 까다로운 반사실적(counterfactual) 주장을 생성하며, (3) 자동 검증 단계에서 생성된 주장이 함께 제공된 근거에 의해 지지되거나 반박되는지, 혹은 근거가 주장의 타당성을 판단하기에 충분한 정보를 제공하지 않는지를 확인한다. 그 결과 만들어진 데이터셋은 '지지됨(supported)', '반박됨(refuted)', '정보 부족(not enough information)'으로 레이블링된 181,976개의 주장-근거 쌍으로 구성된다. 데이터셋의 테스트 샘플에 대해 수행한 사람 평가에서는 Cohen's Kappa를 사용했을 때 지지되는 주장에 대해 kappa = 0.89, 반박되는 주장에 대해 kappa = 0.94로 높은 평가자 간 일치도를 보였다. 사람이 평가한 샘플을 기준으로 한 자동 검증은 지지되는 주장에서 86%, 반박되는 주장에서 88%의 정확도를 달성했다. 자동 아랍어 팩트체킹을 위한 자원으로서 Arafa의 가치를 보여주기 위해, 오픈소스 트랜스포머 기반 모델 네 개를 Arafa로 파인튜닝했으며, 가장 성능이 좋은 모델은 테스트 데이터에서 Macro F1-score 77%를 달성했다. Arafa는 아랍어 팩트체킹을 위한 최초의 대규모 데이터셋일 뿐만 아니라, 본 프레임워크는 다른 저자원 언어를 위한 유사한 자원을 개발하는 확장 가능한 접근법을 제시한다.

arXiv:2609.25012v1cs.CL

산스크리트 문학에서 의미 변화를 측정하는 계산적 접근

A Computational Approach to Measuring Semantic Change in Sanskrit Literature

통시적 단어 임베딩(diachronic word embeddings)은 의미 변화 추적의 현대적 표준이 되었으나, 주로 현대의 고자원(high-resource) 및 분절이 잘 된(well-segmented) 언어에서 검증되어 왔다. 본 논문은 음운 융합(sandhi), 형태론적 곡용(morphological inflection), 합성(compounding), 다의성(polysemy)이 독특한 과제를 제기하는 고대의 저자원(low-resource) 언어인 산스크리트에 이 패러다임이 전이되는지 검증한다. 네 개의 정통 시대(canonical periods)에 걸친 270만 토큰 규모의 말뭉치를 구축하고, 신경망 기반 바이트 수준 sandhi 분절기와 표제어 추출기(lemmatizer)로 단어 경계를 복원한 뒤, 여러 설정(configuration)에 걸쳐 시대별 임베딩을 학습한다. 시스템을 평가하기 위해 역사 학술 연구에서 검증 집합(validation set)을 구성하고, 앵커 변위(anchor displacement)로 방향성 복구를 검증한다. 검증 가능한 21개 변화 중 19개가 문헌학적으로 입증된 방향으로 이동하였다(부호 검定, p=0.00011). 또한 언어가 요구하는 설정을 밝히고 개선 여지에 대해 논의한다.

arXiv:2606.18389v2cs.CL

더 나은 합성 데이터를 원하시나요? 스티어링하세요: 저자원 언어 생성을 위한 활성화 스티어링

Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation

저자원 언어 합성 데이터 생성에서 퓨샷 프롬프팅의 추론 비용과 어휘적 앵커링 문제를 피하기 위해, 언어 정체성을 조절하는 Language Steering과 사람이 쓴 텍스트와 역번역 텍스트를 대조해 형식적 적절성을 잡는 Quality Steering 같은 활성화 스티어링(activation steering)을 제안합니다. 11개 언어에서 감정·주제 분류용 합성 데이터를 만들고 소형 분류기를 파인튜닝해 평가한 결과, 초기 레이어 스티어링이 생성 다양성을 높이면서 특히 저자원 언어에서 다운스트림 성능도 자주 개선됩니다.

arXiv:2607.23481v1cs.CL

Mwando: AI를 활용한 shiKomori 보존 및 교육

Mwando: Leveraging AI to Preserve and Teach shiKomori

본 논문은 코모로 제도의 언어인 shiKomori의 교육과 보존을 지원하기 위해 설계된 가상 교육 보조 시스템 Mwando를 소개한다. 이 시스템은 구절, 속담, 사전, 문법 수업으로 구성된 지식 베이스를 통해 네 가지 주요 방언 변종(shiNgazidja, shiMwali, shiNdzuani, shiMaore)을 다룬다. 벡터 검색, 지식 그래프, 웹 검색 폴백을 결합한 멀티 에이전트(multi-agent) 아키텍처가 정확하고 문맥 인식(context-aware) 응답을 가능하게 한다. 500개 질의에 대한 평가는 어휘 조회와 문법 설명에서 우수한 성능을 보여주며, 정성적 사례 연구는 역량과 현재 한계를 모두 보여준다. 이 연구는 shiKomori에 대한 컴퓨터 기반 지원을 향한 초기 단계를 나타내며, 다른 저자원(low-resource) 언어를 위한 AI 기반 교육 도구 개발의 청사진을 제공한다.

arXiv:2607.23344v1cs.CL

저자원 개체명 인식을 위한 BERT 기반 모델 대 대규모 언어 모델: 마라티어 비교 연구

BERT-based Models vs. Large Language Models for Low-Resource Named Entity Recognition: A Comparative Study on Marathi

마라티어와 같은 저자원 언어에서의 개체명 인식(NER)은 주석 리소스의 제한과 언어적 복잡성으로 인해 여전히 어려운 과제이다. 최근 대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 과제에서 우수한 성능을 보여왔지만, 저자원 환경에서 특정 언어에 대한 NER에 대한 그 효과는 여전히 불확실하다. 본 연구에서는 MahaNER 데이터셋의 여러 변형에 대해 MahaBERT-v2를 파인튜닝하고, 이러한 모델의 성능을 기존 MahaNER 기준선 및 Gemini, LLaMA-3.3-70B, Gemma 모델을 포함한 주요 범용 LLM과 체계적으로 비교한다. 모든 모델은 마라티어 NER 테스트 데이터셋에서 정밀도, 재현율, F1-score 등 표준 지표로 평가된다. 실험 결과, 파인튜닝된 MahaBERT 기반 모델은 기준선과 평가된 모든 LLM을 일관되게 능가하며, 파인튜닝된 모델은 0.88~0.91의 F1-score를 달성하여 기존 MahaNER 모델(0.8843)을 상회하고, F1-score가 0.57~0.69인 LLM 기반 접근법의 성능을 크게 초과한다. 이러한 결과는 도메인 관련 데이터로 학습된 과제 특화·언어 중심 모델이 마라티어 NER에서 범용 LLM보다 여전히 더 효과적임을 보여주며, 저자원 언어 처리를 위한 특화 아키텍처의 지속적인 중요성을 강조한다.

arXiv:2607.22859v1cs.CL

PatiGonit22K: 복잡한 벵골어 수학 단어 문제(MWP) 해결을 위한 포괄적 데이터셋

PatiGonit22K: A Comprehensive Dataset for Solving Complex Bengali MWPs

수학 단어 문제(MWP)는 자연어 이해와 정량적 추론을 평가하는 데 중요한 벤치마크이다. 고자원 언어에서 최근 진전이 있었음에도, 대규모 주석 데이터셋의 가용성이 제한적이어서 벵골어는 여전히 충분히 탐구되지 않았다. 본 연구에서는 원본 PatiGonit 데이터셋을 복잡한 수학 문제의 훨씬 더 큰 수집으로 확장하여 개발한, 22,441개의 문제를 포함하는 확장된 벵골어 MWP 데이터셋인 PatiGonit22K를 소개한다. 데이터셋에는 단순 방정식과 다중 연산 방정식이 모두 포함되어, 서로 다른 난이도 수준에서 수학적 추론을 평가하기 위한 균형 잡힌 벤치마크를 제공한다. 각 문제는 언어적 일관성과 수학적 정확성을 보장하기 위해 신중하게 번역, 주석 처리, 문화적 적응, 검증되었다. 벵골어 MWP의 규모와 복잡성을 모두 확대함으로써, PatiGonit22K는 저자원 언어에서의 수학적 추론 및 교육용 자연어 처리(NLP) 응용에 관한 향후 연구를 위한 더욱 포괄적인 자원을 제공한다.

arXiv:2607.08362v4cs.CL

베트남 고원, 삼각주, 해안의 메아리: 참, 크메르, 따이-눙을 위한 다국어 코퍼스

Echoes Across Vietnam's Highlands, Delta, and Coast: A Multilingual Corpus for Cham, Khmer, and Tay-Nung

베트남 소수민족 언어인 Cham, Khmer, Tay-Nung을 위한 최초의 코퍼스 및 벤치마크 CKTN(44,367개 문서, 2,400만 서브워드 토큰)을 제시하며, 기존 다국어 인코더가 이 언어들을 심각하게 단편화함을 보인다. 문자 인식 어휘 확장과 보정된 대체 토큰 사전학습을 결합한 script-aware 적응 기법으로 단편화를 줄이고 분류 성능을 크게 향상시키면서, 어휘 중복 기반 검색이 표현 품질을 과대평가하는 한계를 드러낸다.

arXiv:2510.07074v2cs.CL

LuxInstruct: 룩sembourgish를 위한 교차 언어 지시 미세조정 데이터셋

LuxInstruct: A Cross-Lingual Instruction Tuning Dataset For Luxembourgish

지시 미세조정은 대규모 언어 모델(LLM)의 성능을 향상시키는 핵심 기법이 되었으며, 모델이 인간의 프롬프트를 더 잘 따르도록 한다. 그러나 룩sembourgish와 같은 저자원 언어는 고품질 지시 데이터셋의 부족으로 인해 심각한 제약에 직면한다. 기계 번역에 전통적으로 의존하는 방식은 종종 의미적 불일치와 문화적 부정확성을 초래한다. 본 연구에서는 룩sembourgish로의 기계 생성 번역에 의존하지 않고, 교차 언어 지시 미세조정 데이터셋을 구축함으로써 이러한 과제를 해결한다. 대신 영어, 프랑스어, 독일어의 정렬된 데이터를 활용하여 언어적·문화적 뉘앙스를 보존하는 고품질 데이터셋을 구축한다. 우리는 교차 언어 지시 미세조정이 언어 간 표현 정렬을 개선할 뿐만 아니라 룩sembourgish에서의 모델 생성 능력도 향상시킨다는 증거를 제시한다. 이는 교차 언어 데이터 큐레이션이 기계 번역 데이터의 흔한 함정을 피하고 저자원 언어 개발에 직접적인 이익을 줄 수 있음을 보여준다.

arXiv:2510.06128v2cs.CL

병렬 토크나이저: 저자원 언어의 교차 언어 전이에서 인코더 모델 어휘 설계 재고

Parallel Tokenizers: Rethinking Encoder Models' Vocabulary Design in Cross-Lingual Transfer of Low-Resource Languages

토큰화는 다국어 언어 모델의 기반이지만, 기존 방법은 의미적으로 동등한 단어를 서로 다른 임베딩에 매핑함으로써 교차 언어 전이를 제한하는 경우가 많다. 예를 들어, 영어의 'I eat rice'와 하우사어의 'Ina cin shinkafa'는 일반적으로 서로 다른 어휘 인덱스에 매핑되어 공유 표현을 방해하고 교차 언어 일반화를 제한한다. 이 문제는 저자원 언어에서 더욱 두드러지며, 이러한 언어에서는 공유 표현이 가장 큰 이점을 제공할 수 있다. 우리는 병렬 토크나이저(parallel tokenizers)를 제안한다. 이는 먼저 토크나이저를 단일 언어로 학습한 다음, 이중 언어 사전 또는 단어-단어 번역을 사용하여 어휘를 포괄적으로 정렬하는 새로운 프레임워크이다. 이 정렬은 언어 간 공유 의미 공간을 강제하면서 자연스럽게 fertility 균형을 개선한다. 효과를 평가하기 위해, 우리는 13개의 저자원 언어에 대해 처음부터 트랜스포머 인코더를 사전학습하고, 감성 분석, 혐오 발언 탐지, 감정 분류, 문장 임베딩 유사도에서 평가한다. 모든 과제에서 병렬 토크나이저로 학습된 모델이 기존 다국어 베이스라인을 능가하며, 토큰화를 재고하는 것이 다국어 표현 학습—특히 저자원 환경에서—을 발전시키는 데 필수적임을 확인한다.

arXiv:2506.10292v2cs.CL

Flick: 다중 과제 저자원 언어를 위한 K-인식 중간 학습 기반 소수 레이블 텍스트 분류

Flick: Few Labels Text Classification using K-Aware Intermediate Learning in Multi-Task Low-Resource Languages

최소한의 감독으로 심층 학습 네트워크를 학습하는 방법은 광범위한 레이블 데이터에 대한 의존을 줄일 수 있는 잠재력으로 인해 상당한 연구 관심을 받아왔다. 자기 학습(self-training) 방법은 준지도 학습(semi-supervised learning)에서 효과적임이 입증되었지만, 노이즈가 있는 의사 레이블(pseudo label)로 인한 오류에 취약하다. 또한 소수 레이블 분류 문제에 대한 최근 대부분의 접근법은 영어와 같은 자원 풍부 언어를 위해 설계되었거나 과적합에 취약한 복잡한 계단식(cascading) 모델을 포함한다. 노이즈가 있는 의사 레이블과 도메인 적응(domain adaptation)에서 기존 방법이 종종 어려움을 겪는 진정한 저자원 언어적 맥락에서의 소수 레이블 텍스트 분류라는 지속적인 과제를 해결하기 위해, 우리는 Flick을 제안한다. 일반적인 다중 클러스터 의사 레이블링이나 복잡한 계단식 아키텍처에 의존하는 기존 방법과 달리, Flick은 더 넓은 초기 클러스터 집합에서 고신뢰도 의사 레이블을 증류(distillation)하면 의사 레이블 품질을 극적으로 개선할 수 있다는, 특히 언어적으로 다양한 저자원 환경에서 중요한 근본적인 통찰을 활용한다. Flick은 최고 성능의 의사 레이블 클러스터를 식별하고 활용함으로써 기존 의사 레이블링 전략에서 벗어난 새로운 의사 레이블 정제(refinement) 구성 요소를 도입한다. 이 구성 요소는 단일 클러스터 응집성(single-cluster cohesion)에 집중하고 적응형 top-k 선택 메커니즘을 활용하여, 초기의 넓은 집합으로부터 매우 신뢰할 수 있는 의사 레이블을 증류하는 방법을 구체적으로 학습한다. 이 표적화된 정제 과정은 저자원 데이터에 내재된 오류 전파를 완화하는 데 핵심적이며, 소수의 실제 레이블만으로 사전학습된 언어 모델의 견고한 미세조정을 가능하게 한다. 우리는 아랍어, 우르두어, 세츠와나어와 같은 도전적인 저자원 언어와 영어를 포함하는 14개의 다양한 데이터셋에서 Flick의 효과를 입증하여, 그 우수한 성능과 적응성을 보여준다.

arXiv:2607.21780v1cs.CL

Khondo: 방글라 양식 문서 패킷 분할을 위한 멀티모달 벤치마크

Khondo: A Multimodal Benchmark for Document Packet Splitting of Bangla Forms

문서 패킷(여러 문서가 하나의 파일로 연결된 것)은 정부 및 행정 업무 흐름에서 흔하지만, 이를 구성 문서로 분할하는 것은 특히 저자원 언어에서 어렵다. 우리는 Khondo(방글라어로 분할/세그먼트를 의미)를 소개한다. 이는 방글라데시 정부 양식에 대한 문서 패킷 분할의 첫 번째 벤치마크이다. 기존의 영어 및 OCR 텍스트 기반 데이터셋과 달리, Khondo는 이중언어(방글라–영어)이며 비전 네이티브(vision-native)로, 모델이 페이지 이미지에 직접 작동한다. 순차적 연결부터 완전 무작위 섞기까지 다섯 가지 연결 방식을 14개 행정 도메인에 걸쳐 포함하며, 정답 경계, 도메인 유형, 페이지 순서를 제공한다. 멀티모달 대규모 언어 모델(MLLM)의 제로샷 평가는 페이지를 원본 문서로 클러스터링하는 데는 비교적 잘 수행하지만, 섞인 후 원래 페이지 순서를 복원하는 데는 어려움을 겪는다는 것을 보여준다. 이 어려움의 원인을 분리하기 위해, 프롬프트 지시를 바꾸고 이어서 패킷 언어를 바꾸는 두 가지 통제 분석을 수행한다. 둘 다 주로 클러스터링보다는 순서 정렬에 영향을 미친다: (a) 명시적 페이지 순서 지시는 필요하지만 충분하지 않으며, (b) 영어 패킷이 방글라 패킷보다 더 안정적으로 순서가 정렬되어, 페이지 배열이 지배적 과제이고 언어는 부차적이지만 일관된 요인임을 보여준다. Khondo는 페이지 순서 재구성을 비전 기반 저자원 문서 이해의 핵심 미해결 문제로 확립하고, 이를 해결하기 위한 진전을 측정할 수 있는 통제된 벤치마크를 제공한다. 데이터셋과 코드는 https://huggingface.co/datasets/Mausul/khondo 에서 이용할 수 있다.