PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2106.16038v3cs.CL공식 코드 · Papers with Code

ChineseBERT: 자형(glyph)과 병음(pinyin) 정보로 강화한 중국어 사전학습

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

최근 중국어 사전학습 모델들은 중국어에 특유한 두 가지 중요한 측면인 자형(glyph)과 병음(pinyin)을 간과하는데, 이는 언어 이해를 위한 중요한 구문 및 의미 정보를 담고 있다. 본 연구에서는 중국어 한자의 자형과 병음 정보를 모두 언어 모델 사전학습에 통합하는 ChineseBERT를 제안한다. 자형 임베딩은 중국어 한자의 서로 다른 글꼴(font)을 기반으로 얻어지며 시각적 특징으로부터 한자의 의미를 포착할 수 있고, 병음 임베딩은 중국어 한자의 발음을 특징화하여 중국어에서 매우 흔한 동음이의어(heteronym) 현상, 즉 같은 한자가 의미에 따라 서로 다른 발음을 갖는 경우를 처리한다. 대규모 비라벨 중국어 말뭉치로 사전학습된 제안 ChineseBERT 모델은 더 적은 학습 단계로 기준선 모델 대비 상당한 성능 향상을 보인다. 제안 모델은 기계 독해(machine reading comprehension), 자연어 추론(natural language inference), 텍스트 분류, 문장 쌍 매칭(sentence pair matching) 등 광범위한 중국어 자연어 처리(NLP) 과제에서 새로운 SOTA 성능을 달성하고, 개체명 인식에서도 경쟁력 있는 성능을 보인다. 코드와 사전학습 모델은 https://github.com/ShannonAI/ChineseBert 에서 공개적으로 이용할 수 있다.

arXiv:1911.02855v5cs.CL공식 코드 · Papers with Code

데이터 불균형 NLP 태스크를 위한 Dice 손실

Dice Loss for Data-imbalanced NLP Tasks

태깅, 기계 독해(machine reading comprehension) 등 많은 자연어 처리(NLP) 태스크는 심각한 데이터 불균형 문제에 직면한다. 부정 예제가 긍정 예제보다 현저히 많으며, 방대한 수의 배경 예제(또는 easy-negative 예제)가 학습을 압도한다. 가장 널리 사용되는 교차 엔트로피(CE) 기준은 실제로 정확도 지향적 목적 함수이며, 따라서 학습과 테스트 사이에 불일치를 만든다. 학습 시에는 각 학습 인스턴스가 목적 함수에 동일하게 기여하지만, 테스트 시에는 F1 점수가 긍정 예제에 더 큰 비중을 둔다. 본 논문에서는 데이터 불균형 NLP 태스크에서 표준 교차 엔트로피 목적 함수 대신 Dice 손실을 사용할 것을 제안한다. Dice 손실은 Sorensen-Dice 계수 또는 Tversky 지수에 기반하며, 거짓 양성과 거짓 음성에 유사한 중요도를 부여하고 데이터 불균형 문제에 더 강건하다. 학습에서 easy-negative 예제의 지배적 영향을 더 완화하기 위해, 학습 예제에 동적으로 조정된 가중치를 부여하여 easy-negative 예제의 비중을 낮추는 방법을 제안한다. 이론적 분석은 이 전략이 평가의 F1 점수와 학습의 Dice 손실 사이의 격차를 줄임을 보여준다. 제안된 학습 목적 함수로 광범위한 데이터 불균형 NLP 태스크에서 유의미한 성능 향상을 관찰하였다. 특히 품사 태깅 태스크에서 CTB5, CTB6, UD1.4에 대해 SOTA 결과를 달성하였고, 개체명 인식 태스크에서 CoNLL03, OntoNotes5.0, MSRA, OntoNotes4.0에 대해 SOTA 결과를 달성하였으며, 기계 독해 및 패러프레이즈 식별 태스크에서도 경쟁력 있는 결과를 얻었다.