Named Entity Recognition Only from Word Embeddings
원문 초록
Deep neural network models have helped named entity (NE) recognition achieve amazing performance without handcrafting features. However, existing systems require large amounts of human annotated training data. Efforts have been made to replace human annotations with external knowledge (e.g., NE dictionary, part-of-speech tags), while it is another challenge to obtain such effective resources. In this work, we propose a fully unsupervised NE recognition model which only needs to take informative clues from pre-trained word embeddings. We first apply Gaussian Hidden Markov Model and Deep Autoencoding Gaussian Mixture Model on word embeddings for entity span detection and type prediction, and then further design an instance selector based on reinforcement learning to distinguish positive sentences from noisy sentences and refine these coarse-grained annotations through neural networks. Extensive experiments on CoNLL benchmark datasets demonstrate that our proposed light NE recognition model achieves remarkable performance without using any annotated lexicon or corpus.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류
Custom Named Entity Recognition and Topic Classification for Global Health Publications
주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.
LA-RL: 정보 추출에서 강화학습을 위한 레이블 인식 자기 반성
LA-RL: Label-Aware Self-Reflection for Reinforcement Learning in Information Extraction
대규모 언어 모델(LLM)은 정보 추출(IE)에서 큰 잠재력을 보이지만, 기존의 반성(reflection) 기반 수정 방법은 구조화된 추출 출력과 종종 정렬되지 않는다. 자유 형식의 자기 반성(self-reflection)은 오류를 표시할 수는 있으나, 실패가 누락된 스팬(span), 잘못된 레이블, 경계 불일치, 유효하지 않은 관계 유형, 또는 뒤바뀐 인자 순서 중 어느 것인지는 거의 식별하지 못한다. 우리는 LA-RL(Label-Aware Reflective Reinforcement Learning, 레이블 인식 반성 강화학습)을 제안한다. 이는 작업에 기반한 진단 레이블로 IE 자기 수정을 안내하는 결과 지도(outcome-supervised) 프레임워크이다. 단일 백본(backbone)이 먼저 추출을 예측하고, 작업별 오류 레이블을 진단한 뒤, 진단 결과를 조건으로 출력을 수정한다. 학습은 주석 모델(annotation model)이 레이블을 부여한 진단 데이터로부터 콜드 스타트 지도 미세조정(SFT)을 시작하며, 프로세스 보상 모델 없이 최종 추출 품질, 형식 유효성, 1차 통과 정확성에 보상을 주는 두 단계의 GRPO를 거친다. 개체명 인식, 관계 추출, 이벤트 추출 실험에서 SFT 대비 동일 백본에서 일관된 성능 향상을 보였으며, SciER 관계 추출에서 평균 F1 6.83, 분포 외(out-of-distribution) 관계 추출에서 약 20 F1, DuEE1.0에서 트리거 F1 14.80과 인자 F1 17.50을 기록했다. 절제(ablation) 실험은 반성 구조가 작업에 민감함을 보여준다. 더 강한 제약은 관계 추출에 유리한 반면, 개체명 인식은 도메인 이동(domain shift) 하에서 덜 제한적인 수정이 필요하다.
Transformer-Based Named Entity Recognition for Automated Server Provisioning
HEProto: A Hierarchical Enhancing ProtoNet based on Multi-Task Learning for Few-shot Named Entity Recognition
Legal Entity Extraction using a Pointer Generator Network
An end to end approach for brand recognition in product titles with BI-LSTM-CRF
토론
이 논문과 연결된 포럼 글이 아직 없습니다.