Recognizing Chinese Judicial Named Entity using BiLSTM-CRF
원문 초록
Named entity recognition (NER) plays an essential role in natural language processing systems. Judicial NER is a fundamental component of judicial information retrieval, entity relation extraction, and knowledge map building. However, Chinese judicial NER remains to be more challenging due to the characteristics of Chinese and high accuracy requirements in the judicial filed. Thus, in this paper, we propose a deep learning-based method named BiLSTM-CRF which consists of bi-directional long short-term memory (BiLSTM) and conditional random fields (CRF). For further accuracy promotion, we propose to use Adaptive moment estimation (Adam) for optimization of the model. To validate our method, we perform experiments on judgment documents including commutation, parole and temporary service outside prison, which is acquired from China Judgments Online. Experimental results achieve the accuracy of 0.876, recall of 0.856 and F1 score of 0.855, which suggests the superiority of the proposed BiLSTM-CRF with Adam optimizer.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Neural Named Entity Recognition and Multi-Type Normalization Tool for Biomedical Text Mining
IntLawNER: 국제법 개체명 인식 데이터셋 및 벤치마크
IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law
국제법은 국가들이 행동을 조율하고, 무력 충돌을 규율하며, 인권을 보호하는 규범적 틀을 제공하지만, 그 텍스트에는 여전히 토큰 수준의 개체명 인식(NER) 자원이 없다. 본 논문은 국제법의 성문화된 출처를 위한 NER 데이터셋 및 벤치마크인 IntLawNER를 소개한다. 국제사법재판소(ICJ) 판결, UN 안전보장이사회 결의, 유럽인권재판소(ECtHR) 판결에서 2,987개의 gold 주석 문장과 8,094개의 개체 스팬을 포함하며, 기관별 7가지 개체 유형으로 주석되었다. IntLawNER는 후보 검색, LLM 기반 검증, 인간 검토를 거치는 비용 효율적인 하이브리드 알고리즘-에이전트 파이프라인으로 구축하였으며, 46만 8천 개의 원문 문장을 축소된 주석 집합으로 줄였고, gold 스팬의 89.6%는 silver 층에서 변경 없이 수용되었다. 그러나 silver-to-gold 분석은 도메인 특화 NER에서 인간-기계 집계 일치 지표가 오해를 불러일으킬 수 있음을 보여준다. 경계가 일치하는 스팬에 대한 Cohen's kappa=0.964는 누락된 개체, 경계 오류, 라벨 수정을 포함하면 macro-F1이 0.753인 사실을 가린다. 벤치마크는 제로샷 span 기반 GLiNER가 표면 형태보다 기관적 기능에 의존하는 개체 유형에서 붕괴함(0.243 micro-F1)을 보여 주며, 파인튜닝된 트랜스포머는 희귀 라벨에서 어려움을 겪는다. 라벨 대비를 보여 주는 신중히 선정된 퓨샷(few-shot) 예시는 모든 LLM의 제로샷 프롬프팅 성능을 향상시키며, Claude Opus 4.6이 0.873 micro-F1의 최고 점수를 기록했다. IntLawNER를 국제법 텍스트에서 참조를 추출하기 위한 벤치마크 및 재사용 가능한 자원으로 공개한다.
KGCQual: 텍스트로부터 구축된 지식 그래프 품질 평가를 위한 해석 가능한 프레임워크
KGCQual: An Interpretable Framework for Evaluating the Knowledge Graph Construction Quality from Text
지식 그래프(Knowledge Graph, KG)는 자동화된 추출 파이프라인을 통해 점점 더 많이 구축되고 있으나, 이러한 시스템은 종종 잘못된 또는 불완전한 트리플을 생성하여 다운스트림 성능을 저하시킨다. 기존의 평가 방식은 태스크별 메트릭이나 소규모 수동 검증에 크게 의존하여, 추출된 그래프의 구조적·의미적 충실도에 대한 통찰이 제한적이다. 우리는 자동 추출된 그래프가 소스 텍스트에 표현된 핵심 명사구, 술어 관계, 부정과 같은 기본적인 언어 현상을 포착하는 "이상적인" 그래프에 얼마나 근접하는지를 측정하는, 새로운 해석 가능한 내재적 KG 품질 평가 메트릭을 제안한다. 우리의 프레임워크는 두 가지 상호보완적인 구성 요소를 통합한다: (1) 완전성, 해소 품질, 연결성을 평가하는 엔티티 수준 평가, (2) 어휘 유사도, 의존 파싱 정렬, 경량 부정 처리를 활용하여 의미적 충실도를 보장하면서 술어 보존 및 다중성을 판단하는 관계 수준 평가. 우리는 WebNLG, TinyButMighty, BenchIE를 포함한 여러 최신 트리플 추출 시스템과 데이터셋에 걸쳐 메트릭을 평가하여, 기존 메트릭이 간과하는 누락, 중복, 구조적 편차를 신뢰성 있게 식별함을 입증한다. 본 연구는 자동화된 KG 구축 방법을 비교하기 위한 확장 가능하고 모델 비의존적이며 해석 가능한 프레임워크를 제공하며, 표준화된 평가의 토대를 마련한다. 또한 명사 및 동사 구성 요소를 분리하는 에블레이션 연구와, KGCQual 점수가 동일한 추출 KG에서의 링크 예측 성능과 유의미한 상관관계를 보임을 보여주는 다운스트림 평가를 통해 메트릭을 추가적으로 검증한다. 코드 저장소는 https://github.com/kracr/kg-quality-metric 에서 확인할 수 있다.
Transformer-Based Named Entity Recognition for Automated Server Provisioning
HEProto: A Hierarchical Enhancing ProtoNet based on Multi-Task Learning for Few-shot Named Entity Recognition
Legal Entity Extraction using a Pointer Generator Network
토론
이 논문과 연결된 포럼 글이 아직 없습니다.