PyTorchKR Papers

최신 논문

총 661편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2106.16038v3cs.CL공식 코드 · Papers with Code

ChineseBERT: 자형(glyph)과 병음(pinyin) 정보로 강화한 중국어 사전학습

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

최근 중국어 사전학습 모델들은 중국어에 특유한 두 가지 중요한 측면인 자형(glyph)과 병음(pinyin)을 간과하는데, 이는 언어 이해를 위한 중요한 구문 및 의미 정보를 담고 있다. 본 연구에서는 중국어 한자의 자형과 병음 정보를 모두 언어 모델 사전학습에 통합하는 ChineseBERT를 제안한다. 자형 임베딩은 중국어 한자의 서로 다른 글꼴(font)을 기반으로 얻어지며 시각적 특징으로부터 한자의 의미를 포착할 수 있고, 병음 임베딩은 중국어 한자의 발음을 특징화하여 중국어에서 매우 흔한 동음이의어(heteronym) 현상, 즉 같은 한자가 의미에 따라 서로 다른 발음을 갖는 경우를 처리한다. 대규모 비라벨 중국어 말뭉치로 사전학습된 제안 ChineseBERT 모델은 더 적은 학습 단계로 기준선 모델 대비 상당한 성능 향상을 보인다. 제안 모델은 기계 독해(machine reading comprehension), 자연어 추론(natural language inference), 텍스트 분류, 문장 쌍 매칭(sentence pair matching) 등 광범위한 중국어 자연어 처리(NLP) 과제에서 새로운 SOTA 성능을 달성하고, 개체명 인식에서도 경쟁력 있는 성능을 보인다. 코드와 사전학습 모델은 https://github.com/ShannonAI/ChineseBert 에서 공개적으로 이용할 수 있다.