PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2502.13297v2cs.CL공식 코드 · Papers with Code

개인 수준 자연어 이해에서의 레이블 오류 이해와 해결

Understanding and Tackling Label Errors in Individual-Level Nature Language Understanding

자연어 이해(NLU)는 기계가 인간의 언어를 이해하도록 하는 과제이다. 입장 탐지와 감성 분석 같은 일부 과제는 개인의 주관적 관점과 밀접하게 관련되어 있어 개인 수준 NLU라고 불린다. 기존에는 이러한 과제가 개인적 요인을 무시한 채 텍스트 수준 NLU 과제로 단순화되는 경우가 많았다. 이는 추론을 어렵고 설명 불가능하게 만들 뿐 아니라, 데이터셋을 구축할 때 다수의 레이블 오류를 초래하는 경우가 많다. 위의 한계를 해결하기 위해 본 논문은 개인 수준 요인에 기반한 새로운 NLU 주석 지침을 제안한다. 구체적으로, 동일한 개인의 다른 게시물을 함께 반영하고, 해당 개인의 모든 게시물을 고려한 후 개인의 주관적 관점을 주석한다. 이 지침을 사용하여 입장 탐지 및 주제 기반 감성 분석 데이터셋을 확장하고 재주석하였다. 그 결과 표본의 오류율이 각각 $31.7\%$와 $23.3\%$에 달하는 것을 확인하였다. 나아가 재주석된 데이터셋에서 대규모 언어 모델로 실험을 수행한 결과, 개인적 요인을 추가한 후 두 데이터셋 모두에서 대규모 언어 모델이 우수한 성능을 보였다. GPT-4o와 Llama3-70B는 재주석 데이터셋에서 모두 87\%를 넘는 정확도를 달성할 수 있다. 또한 절제 연구를 통해 개인적 요인의 효과를 검증하였다. 향후 연구자들이 이러한 데이터셋을 구축할 때 개인적 요인을 추가할 것을 촉구한다. 재주석 데이터셋은 https://github.com/24yearsoldstudent/Individual-NLU 에서 확인할 수 있다.