Discriminative Phrase Embedding for Paraphrase Identification
원문 초록
This work, concerning paraphrase identification task, on one hand contributes to expanding deep learning embeddings to include continuous and discontinuous linguistic phrases. On the other hand, it comes up with a new scheme TF-KLD-KNN to learn the discriminative weights of words and phrases specific to paraphrase task, so that a weighted sum of embeddings can represent sentences more effectively. Based on these two innovations we get competitive state-of-the-art performance on paraphrase identification.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
데이터 불균형 NLP 태스크를 위한 Dice 손실
Dice Loss for Data-imbalanced NLP Tasks
태깅, 기계 독해(machine reading comprehension) 등 많은 자연어 처리(NLP) 태스크는 심각한 데이터 불균형 문제에 직면한다. 부정 예제가 긍정 예제보다 현저히 많으며, 방대한 수의 배경 예제(또는 easy-negative 예제)가 학습을 압도한다. 가장 널리 사용되는 교차 엔트로피(CE) 기준은 실제로 정확도 지향적 목적 함수이며, 따라서 학습과 테스트 사이에 불일치를 만든다. 학습 시에는 각 학습 인스턴스가 목적 함수에 동일하게 기여하지만, 테스트 시에는 F1 점수가 긍정 예제에 더 큰 비중을 둔다. 본 논문에서는 데이터 불균형 NLP 태스크에서 표준 교차 엔트로피 목적 함수 대신 Dice 손실을 사용할 것을 제안한다. Dice 손실은 Sorensen-Dice 계수 또는 Tversky 지수에 기반하며, 거짓 양성과 거짓 음성에 유사한 중요도를 부여하고 데이터 불균형 문제에 더 강건하다. 학습에서 easy-negative 예제의 지배적 영향을 더 완화하기 위해, 학습 예제에 동적으로 조정된 가중치를 부여하여 easy-negative 예제의 비중을 낮추는 방법을 제안한다. 이론적 분석은 이 전략이 평가의 F1 점수와 학습의 Dice 손실 사이의 격차를 줄임을 보여준다. 제안된 학습 목적 함수로 광범위한 데이터 불균형 NLP 태스크에서 유의미한 성능 향상을 관찰하였다. 특히 품사 태깅 태스크에서 CTB5, CTB6, UD1.4에 대해 SOTA 결과를 달성하였고, 개체명 인식 태스크에서 CoNLL03, OntoNotes5.0, MSRA, OntoNotes4.0에 대해 SOTA 결과를 달성하였으며, 기계 독해 및 패러프레이즈 식별 태스크에서도 경쟁력 있는 결과를 얻었다.
Enhancing Paraphrase Type Generation: The Impact of DPO and RLHF Evaluated with Human-Ranked Data
Enhancing Plagiarism Detection in Marathi with a Weighted Ensemble of TF-IDF and BERT Embeddings for Low-Resource Language Processing
Tougher Text, Smarter Models: Raising the Bar for Adversarial Defence Benchmarks
Application Specific Compression of Deep Learning Models
Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.