JieZi: 고대 한자 주석을 위한 대규모 전문가 검증 데이터셋 및 벤치마크
JieZi: A Large-Scale Expert-Audited Dataset and Benchmark for Ancient Chinese Character Exegesis
한국어 초록
고대 한자에 대한 학술적 훈고(주석)는 시각적 관찰, 언어학적 분석, 역사적 맥락의 통합을 요구합니다. 그러나 기존의 전산적 접근 방식은 문자 인식 및 검색과 같은 하위 작업에만 좁게 집중되어 있어, 포괄적인 학술 분석에 필요한 정형화된 데이터셋과 벤치마크가 부족합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 학술적 훈고 과정을 모델링한 비전-언어 시각적 질문 답변(VQA) 태스크인 고대 한자 주석(ACCE)을 도입합니다. ACCE는 기본 문자 식별, 자형 분석, 의미 주석, 통시적 진화 분석의 4단계 점진적 수준으로 구성됩니다. 이 태스크를 지원하기 위해 상호 보완적인 두 가지 자원을 구축합니다. JieZi-Dataset은 ACCE를 위해 구축된 최초의 대규모 전문가 검증 VQA 학습 데이터셋으로, 50만 개 이상의 QA 쌍으로 구성되어 있습니다. 이는 전문가가 설계한 템플릿과 원전 참조를 통해 생성을 제한함으로써 사실적 오류를 줄이는 파이프라인을 거쳐 구축됩니다. 학술적 정확성을 보장하기 위해 각 핵심 단계에서 인간 검증이 추가로 적용됩니다. JieZi-Bench는 훈고 과정에 부합하도록 전문가에 의해 구축 및 검증되어 평가 신뢰성을 보장하는 평가 벤치마크입니다. 이는 학습 데이터와 엄격히 분리된 권위 있는 사전 편찬 저작물에서 선별한 참조 답변을 갖춘 4단계로 구성됩니다. 멀티모달 대규모 언어 모델(MLLM)을 대상으로 한 실험에 따르면, 현재 모델들은 기본적인 식별 작업에서는 우수한 성능을 보이지만 자형 분석, 의미 추론, 통시적 이해에서는 어려움을 겪는 것으로 나타났습니다. JieZi-Dataset을 활용한 미세조정은 4개 수준 전반에서 성능을 크게 향상시킵니다. 코드와 데이터셋은 https://github.com/Ran00w/JieZi 에서 확인할 수 있습니다.
원문 초록
The scholarly exegesis of ancient Chinese characters demands integrating visual observation, linguistic analysis, and historical context. However, existing computational approaches focus narrowly on subtasks such as character recognition and retrieval, lacking the structured datasets and benchmarks required for comprehensive scholarly analysis. To address this limitation, we introduce Ancient Chinese Character Exegesis (ACCE), a vision-language question answering (VQA) task that models the scholarly exegesis process. ACCE is organized into four progressive levels: basic character identification, glyph-form analysis, meaning exegesis, and diachronic evolution analysis. To support this task, we construct two complementary resources. JieZi-Dataset is the first large-scale, expert-audited VQA training dataset for ACCE, comprising over 500K QA pairs. It is constructed via a pipeline that reduces factual errors by constraining generation with expert-designed templates and source-text references. Human verification is further applied at each key stage to ensure scholarly accuracy. JieZi-Bench is an evaluation benchmark aligned with the exegesis process, constructed and verified by human experts to ensure evaluation reliability. It consists of four levels with reference answers curated from authoritative lexicographic works held separate from the training data. Experiments on multimodal large language models show that current models perform well on basic identification but struggle with glyph analysis, semantic reasoning, and diachronic understanding. Fine-tuning on JieZi-Dataset substantially improves performance across all four levels. Code and dataset are available at https://github.com/Ran00w/JieZi.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.11741v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.