Extracting Semantics from Maintenance Records
원문 초록
Rapid progress in natural language processing has led to its utilization in a variety of industrial and enterprise settings, including in its use for information extraction, specifically named entity recognition and relation extraction, from documents such as engineering manuals and field maintenance reports. While named entity recognition is a well-studied problem, existing state-of-the-art approaches require large labelled datasets which are hard to acquire for sensitive data such as maintenance records. Further, industrial domain experts tend to distrust results from black box machine learning models, especially when the extracted information is used in downstream predictive maintenance analytics. We overcome these challenges by developing three approaches built on the foundation of domain expert knowledge captured in dictionaries and ontologies. We develop a syntactic and semantic rules-based approach and an approach leveraging a pre-trained language model, fine-tuned for a question-answering task on top of our base dictionary lookup to extract entities of interest from maintenance records. We also develop a preliminary ontology to represent and capture the semantics of maintenance records. Our evaluations on a real-world aviation maintenance records dataset show promising results and help identify challenges specific to named entity recognition in the context of noisy industrial data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Neural Named Entity Recognition and Multi-Type Normalization Tool for Biomedical Text Mining
대규모 구조화 문헌 마이닝을 위한 도메인 적응 사전학습 기반 수처리 의미 표상 향상
Domain-Adaptive Pretraining Enhances Water Treatment Semantic Representation for Large-Scale Structured Literature Mining
수처리 연구가 급격히 확장되고 있으나, 이러한 연구로부터 도출된 많은 지식은 비정형 문헌 전반에 흩어져 있는 상태로 남아 있다. 이 분야는 대규모 문헌 마이닝을 위해 수처리 특화 도메인 의미를 효율적으로 포착할 수 있는 전용 언어 모델이 여전히 부족하다. 본 연구에서는 수처리 텍스트로부터 의미 표상(semantic representation) 및 구조화된 정보 추출을 수행하도록 설계된 도메인 적응 인코더 모델인 WaterBERT를 개발하여 이를 해결한다. WaterBERT는 약 29억 7천만 개의 토큰으로 구성된 대규모 수처리 말뭉치에 대한 지속 사전학습(continual pretraining)을 통해 개발되었다. WaterBERT를 기반으로 파인튜닝된 세 가지 모델을 다운스트림 태스크에서 체계적으로 평가한 결과, 다중 클래스 처리 공정 분류에서 F1 점수 90.12%, 개체명 인식에서 79.50%, 관계 추출에서 74.04%를 기록하며 범용 및 도메인 특화 BERT 모델 중 전반적으로 가장 우수한 성능을 달성했다. 이러한 벤치마크 태스크를 넘어, 대규모 문헌 처리에 대한 WaterBERT의 이점을 추가로 입증했다. 5,144편의 Environmental Science & Technology 논문에 적용된 WaterBERT-BERTopic은 사전에 정의된 범주 없이도 일관되고 다양하며 도메인에 특화된 연구 주제를 식별했다. WaterBERT를 기반으로 693,211개의 초록을 처리하여 상용 대규모 언어 모델(LLM)보다 현저히 낮은 비용으로 경쟁력 있는 추출 성능을 유지하면서 구조화된 수처리 지식 그래프를 구축했다. 이후 이 지식 그래프를 어휘 및 조밀 검색(dense retrieval)과 통합하여 수처리 지식 증강 검색 시스템(WaterKERS)을 개발했으며, 이는 관련성 점수 77.7을 달성하여 텍스트 기반 검색 베이스라인(54.7-64.5)을 크게 능가했다. 본 연구는 WaterBERT를 통해 수처리 연구에서의 대규모 정보 처리 및 근거 매핑을 위한 컴팩트하고 확장 가능한 의미론적 기반을 제공한다.
LA-RL: 정보 추출에서 강화학습을 위한 레이블 인식 자기 반성
LA-RL: Label-Aware Self-Reflection for Reinforcement Learning in Information Extraction
대규모 언어 모델(LLM)은 정보 추출(IE)에서 큰 잠재력을 보이지만, 기존의 반성(reflection) 기반 수정 방법은 구조화된 추출 출력과 종종 정렬되지 않는다. 자유 형식의 자기 반성(self-reflection)은 오류를 표시할 수는 있으나, 실패가 누락된 스팬(span), 잘못된 레이블, 경계 불일치, 유효하지 않은 관계 유형, 또는 뒤바뀐 인자 순서 중 어느 것인지는 거의 식별하지 못한다. 우리는 LA-RL(Label-Aware Reflective Reinforcement Learning, 레이블 인식 반성 강화학습)을 제안한다. 이는 작업에 기반한 진단 레이블로 IE 자기 수정을 안내하는 결과 지도(outcome-supervised) 프레임워크이다. 단일 백본(backbone)이 먼저 추출을 예측하고, 작업별 오류 레이블을 진단한 뒤, 진단 결과를 조건으로 출력을 수정한다. 학습은 주석 모델(annotation model)이 레이블을 부여한 진단 데이터로부터 콜드 스타트 지도 미세조정(SFT)을 시작하며, 프로세스 보상 모델 없이 최종 추출 품질, 형식 유효성, 1차 통과 정확성에 보상을 주는 두 단계의 GRPO를 거친다. 개체명 인식, 관계 추출, 이벤트 추출 실험에서 SFT 대비 동일 백본에서 일관된 성능 향상을 보였으며, SciER 관계 추출에서 평균 F1 6.83, 분포 외(out-of-distribution) 관계 추출에서 약 20 F1, DuEE1.0에서 트리거 F1 14.80과 인자 F1 17.50을 기록했다. 절제(ablation) 실험은 반성 구조가 작업에 민감함을 보여준다. 더 강한 제약은 관계 추출에 유리한 반면, 개체명 인식은 도메인 이동(domain shift) 하에서 덜 제한적인 수정이 필요하다.
LLM 기반 온톨로지 엔지니어링과 프랑스 법률 지식 그래프 구축
LLM-Assisted Ontology Engineering and Construction of a French Legal Knowledge Graph
유지보수 규정은 특정 사례를 다룰 때 활용하기 어렵고 운영 시스템에 통합하기도 까다로운 복잡한 법률 텍스트이다. 본 논문은 프랑스 유지보수 규정을 위한 2단계 LLM 기반 워크플로를 제시한다: SEMLEG 기반 핵심 온톨로지로부터의 온톨로지 엔지니어링, 그리고 이어서 온톨로지에 기반한(ontology-grounded) 프랑스 법률 지식 그래프의 구축. 1단계는 계층화된 코퍼스 샘플로부터 유형화된 엔티티와 트리플의 개방 추출(open extraction), 임베딩 기반 융합을 통한 레이블 정규화, 그리고 시그니처(도메인과 레인지)를 갖는 후보 객체 속성(object property)의 유도로 구성된다. 2단계는 결과 온톨로지를 사용하여 전체 코퍼스에 대한 트리플의 폐쇄 추출(closed extraction)과 RDF 그래프 구축을 안내한다. GPT-4.1과 mistral-large-2512를 사용한 실험은 견고한 구조화 출력, 거의 완전한 클래스 정렬, 그리고 융합 후 중복 엔티티와 술어의 상당한 감소를 보여준다. 트리플의 20% 미만이 새로운 속성을 도입하며, 더 낮은 정확한 시그니처 준수는 기존 술어에 대한 새로운 도메인-레인지 조합을 드러낸다. 이러한 결과는 산업 유지보수 환경에서 술어 정규화와 새로 관찰된 관계 시그니처의 검증이 핵심 정제 단계임을 시사한다.
Ge'ez 기반 아프리카 언어 어휘 확장: Amharic과 Tigrinya 비교 연구
Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya
다국어 사전학습(pre-trained) 언어 모델(PLM)은 자원이 적은 비라틴 문자(non-Latin-script) 언어에서 성능이 저하되는데, 이는 라틴 문자 중심의 토큰화(tokenization) 학습(training)으로 인한 높은 OOV(out-of-vocabulary) 비율과 과도한 서브워드(subword) 분절(fragmentation) 때문이다. 본 연구는 Ge'ez 문자 기반 언어 중 자원이 가장 풍부한 Amharic과 Tigrinya를 대상으로 하는 XLM-R의 어휘 확장(vocabulary-extended) 변형인 VEXMLM을 제안하며, 추가로 17개의 저자원 아프리카 언어(총 19개)에서도 평가한다. 큐레이션된 Amharic 및 Tigrinya 단일어(monolingual) 말뭉치로 언어별 SentencePiece 토크나이저를 학습하고, 이 토크나이저에서 파생된 30,000개의 Ge'ez 문자 서브워드를 XLM-R 어휘에 추가하며, XLM-R 원래 토크나이저 하에서 구성 서브워드 임베딩(embedding)의 평균으로 이들의 임베딩을 초기화(initialization)한다. VEXMLM은 두 단계로 학습된다: (1) 큐레이션된 말뭉치에서 확장 어휘에 대한 지속적 마스크 언어 모델링(masked language modeling), (2) 질의응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세조정(supervised fine-tuning). Amharic/Tigrinya QA에서 VEXMLM은 87.0 EM / 90.0 F1을 달성하며, XLM-R의 66.0 EM / 78.0 F1, Glot500의 74.0 EM / 78.0 F1을 상회한다. SA에서는 VEXMLM이 80.0% 정확도에 도달하며, XLM-R 77.0%, Glot500 46.0%를 넘는다. NER에서는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균한 OOV 토큰(token) 개체 정확도를 81.4%에서 94.3%로 높인다. 본 연구의 기여는 (i) Ge'ez 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차, (ii) Amharic/Tigrinya에서의 어휘 및 지속적 사전학습(continued pre-training) 이득이 17개의 형태론적으로 관련된 비증강(unaugmented) 아프리카 언어로 전이되는 이단계 학습 전략, (iii) 19개 언어 전반에 걸친 내재적(intrinsic) 토큰화 지표(어휘 커버리지, fertility, OOV 비율)와 외재적(extrinsic) 과제 성능에 대한 평가이다.
SmartRAG: 모바일 기기용 네이티브 그래프 기반 RAG
SmartRAG: Native Graph-Based RAG for Mobile Device
모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.