arXiv:2603.10861v3 cs.CL

SiDiaC-v.2.0: 싱할라어 통시적 말뭉치 버전 2.0

SiDiaC-v.2.0: Sinhala Diachronic Corpus Version 2.0

Nevidu Jayatilleke, Nisansa de Silva, Uthpala Nimanthi, Gagani Kulathilaka, Azra Safrullah, Johan Sofalas

제출 2026-03-11

저자 비고

arXiv Comments

24 pages, 13 figures, 10 tables, Accepted paper at the 15th Language Resources and Evaluation Conference (LREC 2026)

한국어 초록

SiDiaC-v.2.0은 출판 연도 기준 서기 1800년부터 1955년까지, 작성 연도 기준 서기 5세기부터 20세기까지의 역사적 기간을 아우르는 현재까지 가장 방대하고 포괄적인 싱할라어 통시적 코퍼스(Sinhala Diachronic Corpus)이다. 이 코퍼스는 철저한 필터링, 전처리, 저작권 준수 검토 및 광범위한 사후 처리를 거친 185편의 문학 작품에 걸쳐 22만 9천 단어로 구성되어 있다. 또한 총 6만 5천 단어에 달하는 59개 문서의 하위 집합은 작성 연도를 기준으로 주석이 부여되었다. 스리랑카 국립도서관의 문헌들은 Google Document AI OCR을 사용하여 디지털화되었던 SiDiaC-v.1.0의 미필터링 목록에서 선정되었다. 이후 서식 오류 수정, 코드 혼용(code-mixing) 처리, 특수 토큰 포함, 손상된 토큰 수정을 위한 사후 처리가 진행되었다. SiDiaC-v.2.0의 구축은 FarPaHC, SiDiaC-v.1.0, CCOHA 등 다른 코퍼스의 관례를 참고하였다. 이는 페로어와의 저자원 언어 특성 공유 및 CCOHA에서 사용된 유사한 정제 전략을 고려할 때, 구문 주석 부여 및 텍스트 정규화(text normalisation) 전략에 특히 유의미하게 적용되었다. 본 코퍼스는 장르에 따라 1차 및 2차의 두 가지 계층으로 분류된다. 1차 분류는 이진 분류로 각 서적을 논픽션(Non-Fiction) 또는 픽션(Fiction)으로 지정한다. 2차 분류는 보다 세부적으로, 종교, 역사, 시, 언어, 의학 등 특정 장르로 텍스트를 분류한다. 제한된 자원으로 인한 어려움에도 불구하고, SiDiaC-v.2.0은 이전 SiDiaC-v.1.0 연구를 기반으로 구축되어 싱할라어 자연어 처리(NLP)를 위한 포괄적인 자원 역할을 한다.

원문 초록

SiDiaC-v.2.0 is the largest comprehensive Sinhala Diachronic Corpus to date, covering a period from 1800 CE to 1955 CE in terms of publication dates, and a historical span from the 5th to the 20th century CE in terms of written dates. The corpus consists of 229k words across 185 literary works that underwent thorough filtering, preprocessing, and copyright compliance checks, followed by extensive post-processing. Additionally, a subset of 59 documents totalling 65k words was annotated based on their written dates. Texts from the National Library of Sri Lanka were selected from the SiDiaC-v.1.0 non-filtered list, which was digitised using Google Document AI OCR. This was followed by post-processing to correct formatting issues, address code-mixing, include special tokens, and fix malformed tokens. The construction of SiDiaC-v.2.0 was informed by practices from other corpora, such as FarPaHC, SiDiaC-v.1.0, and CCOHA. This was particularly relevant for syntactic annotation and text normalisation strategies, given the shared characteristics of low-resource language status between Faroese and the similar cleaning strategies utilised in CCOHA. This corpus is categorised into two layers based on genres: primary and secondary. The primary categorisation is binary, assigning each book to either Non-Fiction or Fiction. The secondary categorisation is more detailed, grouping texts under specific genres such as Religious, History, Poetry, Language, and Medical. Despite facing challenges due to limited resources, SiDiaC-v.2.0 serves as a comprehensive resource for Sinhala NLP, building upon the work previously done in SiDiaC-v.1.0.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.10861v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.