PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10592v1cs.CL

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2606.22274v1cs.CL

음성에서 텍스트 말뭉치로: 저자원 폰베와 하우사를 위한 ASR 기반 데이터 수집 평가

From Speech to Text Corpora: Evaluating ASR-Based Data Acquisition for Low-Resource Fongbe and Hausa

저자원 아프리카 언어는 언어 모델 학습에 필요한 텍스트 말뭉치가 부족하다. 우리는 ASR 파이프라인이 두 가지 유형론적으로 뚜렷이 구별되는 서아프리카 언어인 폰베(성조가 있고 발음 구분 기호가 풍부한 언어)와 하우사(비성조 언어)의 텍스트 자원을 확장할 수 있는지 조사한다. 우리는 엄선된 12.3시간 분량의 폰베 데이터셋으로 MMS-300M을 파인튜닝하여 ALFFA 벤치마크에서 9.48% WER을 달성했다. 이는 이전 44.04% 기준선 대비 상대적으로 78% 감소한 수치이며, 해당 언어에 핵심적인 성조 발음 구분 기호를 보존했다. 하우사의 경우 기존에 파인튜닝된 Whisper-Small 모델을 적용한다. 우리는 YouTube 동영상 1,553개(236시간)를 목록화하고, 도메인 다양성과 가용한 연산 자원의 균형을 맞추어 선별한 424개 동영상(45.49시간)의 부분집합을 처리하여 6,770개의 전사 구간을 생성했다. 언어별로 무작위로 샘플링한 50개 구간에 대한 인간 평가 결과, 하우사는 평균 품질 점수 57.4/100, 폰베는 36.5/100을 기록했다. 이는 하우사 전사는 말뭉치 구축에 허용 가능한 품질에 근접하는 반면, 폰베 전사는 실제 활용을 위해 후처리나 개선된 모델이 필요함을 시사한다. 우리는 플랫폼 약관과 윤리 지침을 준수하여 엄선된 데이터셋, 파인튜닝된 모델, 전사 말뭉치, 전체 동영상 목록을 공개한다.