Survey: Understand the challenges of MachineLearning Experts using Named EntityRecognition Tools
원문 초록
This paper presents a survey based on Kasunic's survey research methodology to identify the criteria used by Machine Learning (ML) experts to evaluate Named Entity Recognition (NER) tools and frameworks. Comparison and selection of NER tools and frameworks is a critical step in leveraging NER for Information Retrieval to support the development of Clinical Practice Guidelines. In addition, this study examines the main challenges faced by ML experts when choosing suitable NER tools and frameworks. Using Nunamaker's methodology, the article begins with an introduction to the topic, contextualizes the research, reviews the state-of-the-art in science and technology, and identifies challenges for an expert survey on NER tools and frameworks. This is followed by a description of the survey's design and implementation. The paper concludes with an evaluation of the survey results and the insights gained, ending with a summary and conclusions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IntLawNER: 국제법 개체명 인식 데이터셋 및 벤치마크
IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law
국제법은 국가들이 행동을 조율하고, 무력 충돌을 규율하며, 인권을 보호하는 규범적 틀을 제공하지만, 그 텍스트에는 여전히 토큰 수준의 개체명 인식(NER) 자원이 없다. 본 논문은 국제법의 성문화된 출처를 위한 NER 데이터셋 및 벤치마크인 IntLawNER를 소개한다. 국제사법재판소(ICJ) 판결, UN 안전보장이사회 결의, 유럽인권재판소(ECtHR) 판결에서 2,987개의 gold 주석 문장과 8,094개의 개체 스팬을 포함하며, 기관별 7가지 개체 유형으로 주석되었다. IntLawNER는 후보 검색, LLM 기반 검증, 인간 검토를 거치는 비용 효율적인 하이브리드 알고리즘-에이전트 파이프라인으로 구축하였으며, 46만 8천 개의 원문 문장을 축소된 주석 집합으로 줄였고, gold 스팬의 89.6%는 silver 층에서 변경 없이 수용되었다. 그러나 silver-to-gold 분석은 도메인 특화 NER에서 인간-기계 집계 일치 지표가 오해를 불러일으킬 수 있음을 보여준다. 경계가 일치하는 스팬에 대한 Cohen's kappa=0.964는 누락된 개체, 경계 오류, 라벨 수정을 포함하면 macro-F1이 0.753인 사실을 가린다. 벤치마크는 제로샷 span 기반 GLiNER가 표면 형태보다 기관적 기능에 의존하는 개체 유형에서 붕괴함(0.243 micro-F1)을 보여 주며, 파인튜닝된 트랜스포머는 희귀 라벨에서 어려움을 겪는다. 라벨 대비를 보여 주는 신중히 선정된 퓨샷(few-shot) 예시는 모든 LLM의 제로샷 프롬프팅 성능을 향상시키며, Claude Opus 4.6이 0.873 micro-F1의 최고 점수를 기록했다. IntLawNER를 국제법 텍스트에서 참조를 추출하기 위한 벤치마크 및 재사용 가능한 자원으로 공개한다.
Transformer-Based Named Entity Recognition for Automated Server Provisioning
HEProto: A Hierarchical Enhancing ProtoNet based on Multi-Task Learning for Few-shot Named Entity Recognition
Legal Entity Extraction using a Pointer Generator Network
Analysis Of Contextual and Non-Contextual Word Embedding Models For Hindi NER With Web Application For Data Collection
Object-aware Multimodal Named Entity Recognition in Social Media Posts with Adversarial Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.