Natural Language Understanding with the Quora Question Pairs Dataset
원문 초록
This paper explores the task Natural Language Understanding (NLU) by looking at duplicate question detection in the Quora dataset. We conducted extensive exploration of the dataset and used various machine learning models, including linear and tree-based models. Our final finding was that a simple Continuous Bag of Words neural network model had the best performance, outdoing more complicated recurrent and attention based models. We also conducted error analysis and found some subjectivity in the labeling of the dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
개인 수준 자연어 이해에서의 레이블 오류 이해와 해결
Understanding and Tackling Label Errors in Individual-Level Nature Language Understanding
자연어 이해(NLU)는 기계가 인간의 언어를 이해하도록 하는 과제이다. 입장 탐지와 감성 분석 같은 일부 과제는 개인의 주관적 관점과 밀접하게 관련되어 있어 개인 수준 NLU라고 불린다. 기존에는 이러한 과제가 개인적 요인을 무시한 채 텍스트 수준 NLU 과제로 단순화되는 경우가 많았다. 이는 추론을 어렵고 설명 불가능하게 만들 뿐 아니라, 데이터셋을 구축할 때 다수의 레이블 오류를 초래하는 경우가 많다. 위의 한계를 해결하기 위해 본 논문은 개인 수준 요인에 기반한 새로운 NLU 주석 지침을 제안한다. 구체적으로, 동일한 개인의 다른 게시물을 함께 반영하고, 해당 개인의 모든 게시물을 고려한 후 개인의 주관적 관점을 주석한다. 이 지침을 사용하여 입장 탐지 및 주제 기반 감성 분석 데이터셋을 확장하고 재주석하였다. 그 결과 표본의 오류율이 각각 $31.7\%$와 $23.3\%$에 달하는 것을 확인하였다. 나아가 재주석된 데이터셋에서 대규모 언어 모델로 실험을 수행한 결과, 개인적 요인을 추가한 후 두 데이터셋 모두에서 대규모 언어 모델이 우수한 성능을 보였다. GPT-4o와 Llama3-70B는 재주석 데이터셋에서 모두 87\%를 넘는 정확도를 달성할 수 있다. 또한 절제 연구를 통해 개인적 요인의 효과를 검증하였다. 향후 연구자들이 이러한 데이터셋을 구축할 때 개인적 요인을 추가할 것을 촉구한다. 재주석 데이터셋은 https://github.com/24yearsoldstudent/Individual-NLU 에서 확인할 수 있다.
Vision Language Action Models in Robotic Manipulation: A Systematic Review
A Survey on Vision-Language-Action Models for Autonomous Driving
Dialect Normalization using Large Language Models and Morphological Rules
EdgeProfiler: A Fast Profiling Framework for Lightweight LLMs on Edge Using Analytical Model
Can Compressed LLMs Truly Act? An Empirical Evaluation of Agentic Capabilities in LLM Compression
토론
이 논문과 연결된 포럼 글이 아직 없습니다.