ThaiTrees: 도메인을 아우르는 태국어 구문 의존 트리
ThaiTrees: Thai Syntactic Dependency Trees Across Domains
한국어 초록
자연어에서 나타나는 구문 패턴을 연구하려면 대규모 구문 분석 코퍼스가 필요하지만, 수작업 어노테이션은 비용이 크고 확장하기 어렵다. 태국어는 구문 분석기(parser) 학습 및 평가를 위한 수작업 의존 트리뱅크가 있으나, 정량적 구문 연구를 위한 대규모 자동 구문 분석 코퍼스는 부족하다. 우리는 뉴스, 위키피디아, 구어 전사, 소셜 미디어에서 수집한 342M 토큰 규모의 코퍼스 ThaiTrees를 제시한다. Universal Dependencies 프레임워크 하에서 태국어 텍스트를 정제·처리·구문 분석하는 재현 가능한 파이프라인을 개발한다. 이로 얻은 코퍼스는 문법적 관계를 검색 가능하게 하며 구문 분포 연구를 지원한다. AI 지원 분석과 기존 프로그램 기반 분석 모두에 적합한 기계 가독형 형식으로 빈도 어휘집과 CoNLL-U 구문 분석 결과를 공개한다.
원문 초록
Studying syntactic patterns in naturally occurring language requires a large parsed corpus, but manual annotation is costly and difficult to scale. Thai has a manually annotated dependency treebank for training and evaluating parsers, but lacks a large automatically parsed corpus for quantitative syntactic research. We present ThaiTrees, a 342M-token corpus drawn from news, Wikipedia, spoken transcripts, and social media. We develop a reproducible pipeline for cleaning, processing, and parsing Thai text under the Universal Dependencies framework. The resulting corpus makes grammatical relations searchable and supports the study of syntactic distributions. We release a frequency lexicon and CoNLL-U parses in machine-readable formats suitable for both AI-assisted and conventional programmatic analysis.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27558v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Meet UD_Czech-PDTC: A Large and Genre-Rich Treebank in Universal Dependencies
Prague Dependency Treebank -- Consolidated 2.0: Enriching a Complex Annotation Scheme
AthDGC: An Open Diachronic Greek Treebank with Indo-European Parallels
CAIT: 아동-성인 상호작용을 위한 구문 분석 툴킷
CAIT: A Syntactic Parsing Toolkit for Child-Adult InTeractions
CHILDES는 언어 습득 연구에서 핵심적인 자료원이지만, 그 구문 구조를 분석하는 계산 도구는 여전히 부족하다. 최근 공개된 금표준 Universal Dependencies(UD) 주석이 포함된 UD-English-CHILDES 트리뱅크를 활용하여, 우리는 CHILDES에 특화된 최신 의존 구문 분석기를 학습시켰다. 이 분석기는 아동-성인 상호작용의 구문 패턴을 더 정확하게 포착하며, SpaCy와 Stanza를 포함한 널리 사용되는 기성 영어 분석기들을 능가한다. 분석기와 함께, 품사 태거(Part-of-Speech tagger)와 발화 수준 구문 구조 태거(utterance-level construction tagger)도 함께 공개하며, 이들이 결합되어 아동-성인 상호작용을 위한 오픈소스 구문 분석 툴킷인 CAIT를 구성한다. 상세한 오류 분석과 CHILDES의 발달 시기별 구문 구조 분포를 추적하는 사례 연구를 통해, 언어 습득에 관한 대규모의 재현 가능한 연구에 대한 이 툴킷의 실용적 유용성을 입증한다.
Step-by-step Instructions and a Simple Tabular Output Format Improve the Dependency Parsing Accuracy of LLMs
Hierarchical Bracketing Encodings for Dependency Parsing as Tagging
토론
이 논문과 연결된 포럼 글이 아직 없습니다.