PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.17633v2cs.CL

먼저 복사하고, 나중에 번역: 다국어 사전학습에서 번역 역학 해석

Copy First, Translate Later: Interpreting Translation Dynamics in Multilingual Pretraining

대규모 언어 모델(LLM)은 인상적인 다국어 간(cross-lingual) 능력을 보인다. 그러나 선행 연구는 이 현상을 고립된 요인과 학습 중 희소한 시점에서 분석하여, 특히 학습 초기 단계에서 다국어 간 일반화가 어떻게 창발하는지에 대한 이해를 제한한다. 언어 및 번역 능력의 초기 궤적을 연구하기 위해, 우리는 아홉 개의 다양한 언어로 다국어 1.7B 모델을 사전학습하고, 훨씬 더 세밀한 간격으로 체크포인트를 수집한다. 우리는 단어 수준 번역을 테스트베드로 사용하며, 행동 분석, 모델 구성 요소 분석, 매개변수 기반 절제(ablation)를 통해 학습 과정에서 번역이 어떻게 발달하는지 추적하는 새로운 데이터셋을 도입한다. 우리는 모델이 토큰 수준 복사와 병행하여 기본적인 언어 능력을 빠르게 습득하는 반면, 번역은 두 개의 뚜렷한 단계로 발달한다는 것을 발견한다: 복사와 표면 수준 유사성이 지배하는 초기 단계, 그리고 복사가 정제되는 동시에 더 일반화된 번역 메커니즘이 발달하는 두 번째 단계. 이러한 발견들은 함께, 다국어 사전학습 중 다국어 간 일반화가 어떻게 발달하는지에 대한 세밀한 관점을 제공한다.

arXiv:2605.02089v2cs.CV

저자원 필기체 텍스트 인식(HTR)을 위한 아랍 문자 기반 교차 언어 학습

Cross-Lingual Learning within Arabic Script for Low-Resource HTR

레이블링된 데이터가 제한된 상황에서의 필기체 텍스트 인식(HTR)은 여전히 어려운 문제로 남아 있으며, 특히 아랍 문자를 사용하는 언어에서 그렇습니다. 최신 시퀀스 기반 인식기는 고자원 환경에서는 우수한 성능을 보이지만, 학습 데이터가 부족해질수록 정확도가 급격히 저하됩니다. 아랍 문자를 사용하는 언어들은 상당한 문자 중첩이 있는 공통된 문자 체계를 공유하므로, 데이터 부족 문제를 완화하는 전략으로서 교차 언어 학습이 제시됩니다. 본 연구에서는 아랍어(KHATT), 우르두어(NUST-UHWR), 페르시아어(PHTD) 데이터셋을 사용하여 저자원 조건(샘플 수 K = 100, 500, 1000개 레이블링된 라인)에서 아랍 문자 HTR을 위한 교차 언어 공동 학습에 대한 통제된 라인 수준 연구를 수행했습니다. 데이터 부족을 완화하기 위해 CRNN 및 비전 트랜스포머 기반 HTR-VT 모델을 여러 관련 아랍 문자 데이터셋의 합집합으로 학습시키고, 개별 목표 언어에 대해 평가했습니다. 두 아키텍처 모두 저자원 조건에서 교차 언어 학습의 이점을 얻었습니다. 목표 언어 데이터가 극도로 제한된 경우 CRNN이 더욱 효과적인 반면, HTR-VT는 목표 언어 데이터가 많아질수록 교차 언어 학습의 이점이 덜 일관적으로 나타납니다. 페르시아어(PHTD)에서는 공동 학습이 9.99의 문자 오류율(CER)을 달성하여, 사용 가능한 전체 학습 데이터를 사용하지 않았음에도 불구하고 이전에 보고된 결과를 능가했습니다. 추가적인 우르두어 데이터셋(UNHD)에서는 공동 학습이 CER을 17.20에서 14.45로 감소시켰습니다.

arXiv:2606.18033v1cs.CL

영어가 최고의 교사가 아닐 때: 언어 간 문맥 내 학습에서의 소스 언어 효과

When English Isn't the Best Teacher: Source Language Effects in Cross-Lingual In-Context Learning

다국어 자연어 처리(NLP)에서의 언어 간 전이(cross-lingual transfer)는 지도 미세조정(supervised fine-tuning) 맥락에서 널리 탐구되어 왔으며, 여기서는 데이터 가용성 및 언어적 유사성과 같은 요소가 전이 품질을 크게 결정합니다. 이 분야가 퓨샷 문맥 내 학습(In-Context Learning, ICL)으로 전환됨에 따라, 미세조정(fine-tuning)에서 얻은 통찰이 변화 없이 그대로 적용될 것이라고 종종 추정됩니다. 그러나 이 가정은 엄밀하게 평가되지 않았으며, 언어 간 ICL을 위해 소스 언어(source language)를 선택하는 방법에 대한 문제는 여전히 열려 있습니다. 우리는 7개 작업, 6개 모델, 유형론적으로 다양한 언어 집합에 걸친 ICL 내 언어 간 전이에 대한 광범위한 실증적 연구를 수행했습니다. 또한, 우리는 언어 간 ICL의 생성 작업(generative tasks)에 대한 주요 장애물인 언어 혼동(language confusion)을 추가로 분석합니다. 우리의 결과는 기존의 미세조정 기반 기대가 ICL 환경에서 일관되게 적용되지 않음을 보여주며, 소스 언어를 효과적으로 선택하기 위한 대안적인 휴리스틱(heuristics)을 제시합니다.