This paper investigates and evaluates support vector machine active learning algorithms for use with imbalanced datasets, which commonly arise in many applications such as information extraction applications. Algorithms based on closest-to-hyperplane selection and query-by-committee selection are combined with methods for addressing imbalance such as positive amplification based on prevalence statistics from initial random samples. Three algorithms (ClosestPA, QBagPA, and QBoostPA) are presented and carefully evaluated on datasets for text classification and relation extraction. The ClosestPA algorithm is shown to consistently outperform the other two in a variety of ways and insights are provided as to why this is the case.
We propose a technique for declaratively specifying strategies for semi-supervised learning (SSL). The proposed method can be used to specify ensembles of semi-supervised learning, as well as agreement constraints and entropic regularization constraints between these learners, and can be used to model both well-known heuristics such as co-training and novel domain-specific heuristics. In addition to representing individual SSL heuristics, we show that multiple heuristics can also be automatically combined using Bayesian optimization methods. We show consistent improvements on a suite of well-studied SSL benchmarks, including a new state-of-the-art result on a difficult relation extraction task.
Distant supervision can effectively label data for relation extraction, but suffers from the noise labeling problem. Recent works mainly perform soft bag-level noise reduction strategies to find the relatively better samples in a sentence bag, which is suboptimal compared with making a hard decision of false positive samples in sentence level. In this paper, we introduce an adversarial learning framework, which we named DSGAN, to learn a sentence-level true-positive generator. Inspired by Generative Adversarial Networks, we regard the positive samples generated by the generator as the negative samples to train the discriminator. The optimal generator is obtained until the discrimination ability of the discriminator has the greatest decline. We adopt the generator to filter distant supervision training dataset and redistribute the false positive instances into the negative set, in which way to provide a cleaned dataset for relation classification. The experimental results show that the proposed strategy significantly improves the performance of distant supervision relation extraction comparing to state-of-the-art systems.
Distant supervision has become the standard method for relation extraction. However, even though it is an efficient method, it does not come at no cost---The resulted distantly-supervised training samples are often very noisy. To combat the noise, most of the recent state-of-the-art approaches focus on selecting one-best sentence or calculating soft attention weights over the set of the sentences of one specific entity pair. However, these methods are suboptimal, and the false positive problem is still a key stumbling bottleneck for the performance. We argue that those incorrectly-labeled candidate sentences must be treated with a hard decision, rather than being dealt with soft attention weights. To do this, our paper describes a radical solution---We explore a deep reinforcement learning strategy to generate the false-positive indicator, where we automatically recognize false positives for each relation type without any supervised information. Unlike the removal operation in the previous studies, we redistribute them into the negative examples. The experimental results show that the proposed strategy significantly improves the performance of distant supervision comparing to state-of-the-art systems.
We investigate the incorporation of character-based word representations into a standard CNN-based relation extraction model. We experiment with two common neural architectures, CNN and LSTM, to learn word vector representations from character embeddings. Through a task on the BioCreative-V CDR corpus, extracting relationships between chemicals and diseases, we show that models exploiting the character-based word representations improve on models that do not use this information, obtaining state-of-the-art result relative to previous neural approaches.
Training accurate classifiers requires many labels, but each label provides only limited information (one bit for binary classification). In this work, we propose BabbleLabble, a framework for training classifiers in which an annotator provides a natural language explanation for each labeling decision. A semantic parser converts these explanations into programmatic labeling functions that generate noisy labels for an arbitrary amount of unlabeled data, which is used to train a classifier. On three relation extraction tasks, we find that users are able to train classifiers with comparable F1 scores from 5-100$\times$ faster by providing explanations instead of just labels. Furthermore, given the inherent imperfection of labeling functions, we find that a simple rule-based semantic parser suffices.
Existing neural relation extraction (NRE) models rely on distant supervision and suffer from wrong labeling problems. In this paper, we propose a novel adversarial training mechanism over instances for relation extraction to alleviate the noise issue. As compared with previous denoising methods, our proposed method can better discriminate those informative instances from noisy ones. Our method is also efficient and flexible to be applied to various NRE architectures. As shown in the experiments on a large-scale benchmark dataset in relation extraction, our denoising method can effectively filter out noisy instances and achieve significant improvements as compared with the state-of-the-art models.
Modeling hypernymy, such as poodle is-a dog, is an important generalization aid to many NLP tasks, such as entailment, coreference, relation extraction, and question answering. Supervised learning from labeled hypernym sources, such as WordNet, limits the coverage of these models, which can be addressed by learning hypernyms from unlabeled text. Existing unsupervised methods either do not scale to large vocabularies or yield unacceptably poor accuracy. This paper introduces distributional inclusion vector embedding (DIVE), a simple-to-implement unsupervised method of hypernym discovery via per-word non-negative vector embeddings which preserve the inclusion property of word contexts in a low-dimensional and interpretable space. In experimental evaluations more comprehensive than any previous literature of which we are aware-evaluating on 11 datasets using multiple existing as well as newly proposed scoring functions-we find that our method provides up to double the precision of previous unsupervised embeddings, and the highest average performance, using a much more compact word representation, and yielding many new state-of-the-art results.
Open Information Extraction (OIE) is the task of the unsupervised creation of structured information from text. OIE is often used as a starting point for a number of downstream tasks including knowledge base construction, relation extraction, and question answering. While OIE methods are targeted at being domain independent, they have been evaluated primarily on newspaper, encyclopedic or general web text. In this article, we evaluate the performance of OIE on scientific texts originating from 10 different disciplines. To do so, we use two state-of-the-art OIE systems applying a crowd-sourcing approach. We find that OIE systems perform significantly worse on scientific text than encyclopedic text. We also provide an error analysis and suggest areas of work to reduce errors. Our corpus of sentences and judgments are made available.
Luminoso participated in the SemEval 2018 task on "Capturing Discriminative Attributes" with a system based on ConceptNet, an open knowledge graph focused on general knowledge. In this paper, we describe how we trained a linear classifier on a small number of semantically-informed features to achieve an $F_1$ score of 0.7368 on the task, close to the task's high score of 0.75.
Predicting structured outputs can be computationally onerous due to the combinatorially large output spaces. In this paper, we focus on reducing the prediction time of a trained black-box structured classifier without losing accuracy. To do so, we train a speedup classifier that learns to mimic a black-box classifier under the learning-to-search approach. As the structured classifier predicts more examples, the speedup classifier will operate as a learned heuristic to guide search to favorable regions of the output space. We present a mistake bound for the speedup classifier and identify inference situations where it can independently make correct judgments without input features. We evaluate our method on the task of entity and relation extraction and show that the speedup classifier outperforms even greedy search in terms of speed without loss of accuracy.
본 튜토리얼은 자연어 처리(NLP)의 헬스케어 도메인 적용, HealthcareNLP 분야에서 우리가 달성한 성과, 그리고 미래를 향한 과제에 초점을 맞춥니다. 이 분야의 기존 리뷰들은 개인정보 보호 문제를 해결하기 위한 합성 데이터 생성이나 보다 나은 통합 및 구현을 위한 설명 가능한 임상 NLP 같은 몇 가지 중요한 태스크를 간과하거나, 검색-증강 생성(RAG) 및 대규모 언어 모델(LLM)과 지식 그래프(KG)의 뉴로-심볼릭 통합을 포함한 주요 방법론을 언급하지 못했습니다. 이러한 점을 고려하여, 본 튜토리얼의 목표는 3단계 계층 구조를 통해 환자 및 자원 지향적인 HealthcareNLP의 가장 중요한 하위 분야에 대한 입문적 개요를 제공하는 것입니다. 3단계 계층은 데이터/자원 층(어노테이션 가이드라인, 윤리적 승인, 거버넌스, 합성 데이터), NLP-평가(Eval) 층(개체명 인식(NER), 관계 추출(RE), 감성 분석과 같은 NLP 태스크 및 분류된 방법론을 통한 링킹/코딩, 이를 통한 설명 가능한 HealthAI 구축), 환자 층(환자 및 대중 참여(PPIE), 건강 이해도, 번역, 단순화, 요약(이 역시 NLP 태스크임), 공유 의사결정 지원)으로 구성됩니다. 청중이 HealthcareNLP 애플리케이션을 직접 사용할 수 있도록 튜토리얼에 실습 세션이 포함될 예정입니다. 대상 청중은 헬스케어 응용 분야의 NLP 실무자, 도메인 응용에 관심이 있는 NLP 연구자, 헬스케어 연구자, 그리고 NLP 분야의 학생들입니다. 본 튜토리얼의 유형은 "CL/NLP 주제 입문(HealthcareNLP)"이며 청중은 참석을 위한 사전 지식이 필요하지 않습니다. 튜토리얼 자료: https://github.com/4dpicture/HealthNLP
대규모 생체의학 문헌으로부터의 자동화된 약물 조합 추출(DCE)은 정밀도(precision) 의학과 약리학 연구를 발전시키는 데 매우 중요합니다. 그러나 기존의 관계 추출 방법들은 주로 이진 상호작용에 초점을 맞추고 있어, 복잡한 호환성 논리와 분산된 증거를 고려해야 하는 가변 길이 n-ary 약물 조합 모델링에 어려움을 겪고 있습니다. 이러한 한계를 해결하기 위해, 대규모 언어 모델(LLM)을 기반으로 한 n-ary 약물 조합 추출용 종단간 추론 강화 관계 추출 프레임워크인 RexDrug를 제안합니다. RexDrug는 2단계 학습(training) 전략을 채택합니다. 첫째, 지도 미세조정(supervised fine-tuning)을 위한 고품질 전문가 수준의 추론 과정을 자동으로 생성하기 위해 멀티 에이전트(agent) 협업 메커니즘을 활용합니다. 둘째, DCE에 맞춤화된 다차원 보상(reward) 함수를 적용한 강화학습(reinforcement learning)을 통해 추론 품질과 추출 정확도를 더욱 향상시킵니다. DrugComb 데이터셋(dataset)에 대한 광범위한 실험은 RexDrug가 n-ary 추출에서 최첨단 베이스라인들을 일관되게 능가함을 보여줍니다. DDI13 코퍼스에 대한 추가 평가는 이진 약물-약물 상호작용 작업에 대한 일반화 가능성을 입증합니다. 인간 전문가 평가 및 자동 추론 지표는 RexDrug가 복잡한 치료 요법을 정확하게 식별하면서 일관된 의학적 추론을 생성함을 더욱 뒷받침합니다. 이러한 결과들은 비정형 텍스트로부터 복잡한 생체의학 관계를 추출하기 위한 확장 가능하고 신뢰할 수 있는 솔루션으로서 RexDrug의 입지를 확립합니다. 소스 코드와 데이터는 https://github.com/DUTIR-BioNLP/RexDrug 에서 이용할 수 있습니다.
수처리 연구가 급격히 확장되고 있으나, 이러한 연구로부터 도출된 많은 지식은 비정형 문헌 전반에 흩어져 있는 상태로 남아 있다. 이 분야는 대규모 문헌 마이닝을 위해 수처리 특화 도메인 의미를 효율적으로 포착할 수 있는 전용 언어 모델이 여전히 부족하다. 본 연구에서는 수처리 텍스트로부터 의미 표상(semantic representation) 및 구조화된 정보 추출을 수행하도록 설계된 도메인 적응 인코더 모델인 WaterBERT를 개발하여 이를 해결한다. WaterBERT는 약 29억 7천만 개의 토큰으로 구성된 대규모 수처리 말뭉치에 대한 지속 사전학습(continual pretraining)을 통해 개발되었다. WaterBERT를 기반으로 파인튜닝된 세 가지 모델을 다운스트림 태스크에서 체계적으로 평가한 결과, 다중 클래스 처리 공정 분류에서 F1 점수 90.12%, 개체명 인식에서 79.50%, 관계 추출에서 74.04%를 기록하며 범용 및 도메인 특화 BERT 모델 중 전반적으로 가장 우수한 성능을 달성했다. 이러한 벤치마크 태스크를 넘어, 대규모 문헌 처리에 대한 WaterBERT의 이점을 추가로 입증했다. 5,144편의 Environmental Science & Technology 논문에 적용된 WaterBERT-BERTopic은 사전에 정의된 범주 없이도 일관되고 다양하며 도메인에 특화된 연구 주제를 식별했다. WaterBERT를 기반으로 693,211개의 초록을 처리하여 상용 대규모 언어 모델(LLM)보다 현저히 낮은 비용으로 경쟁력 있는 추출 성능을 유지하면서 구조화된 수처리 지식 그래프를 구축했다. 이후 이 지식 그래프를 어휘 및 조밀 검색(dense retrieval)과 통합하여 수처리 지식 증강 검색 시스템(WaterKERS)을 개발했으며, 이는 관련성 점수 77.7을 달성하여 텍스트 기반 검색 베이스라인(54.7-64.5)을 크게 능가했다. 본 연구는 WaterBERT를 통해 수처리 연구에서의 대규모 정보 처리 및 근거 매핑을 위한 컴팩트하고 확장 가능한 의미론적 기반을 제공한다.
음모론은 흔히 중요한 사건을 강력하고 비밀스러운 행위자의 행동 탓으로 돌립니다. 계산적 연구는 주로 음모론에 대한 문서 수준의 분석에 집중해 온 반면, 이러한 서사를 이끄는 행위자를 식별하는 데는 상대적으로 덜 주목해 왔습니다. 본 연구에서는 음모론적 행위자에 대한 어노테이션 가이드라인을 개발하고, 스팬(span) 어노테이션이 적용된 독일어 텔레그램 게시물 코퍼스를 제시하며, 트랜스포머(transformer) 기반 모델을 사용한 자동 추출을 조사합니다. 나아가 도출된 모델을 독일어 음모론 관련 텔레그램 채널의 대규모 아카이브인 Schwurbelarchiv에 적용합니다. 실험 결과는 음모론 담화의 언어적 복잡성에도 불구하고 음모론적 행위자를 유의미한 일치도로 어노테이션할 수 있으며 합리적인 정확도로 추출할 수 있음을 보여주어, 음모론 서사에서 행위자 표현에 대한 대규모 분석을 가능하게 합니다.
보안 운영 센터(SOC)는 사이버 위협 인텔리전스(CTI) 보고서를 MITRE ATT&CK에 자동 매핑하는 데 점점 더 의존하고 있지만, 추출기 출력은 여전히 오류 가능성이 있으며 개별 매핑을 신뢰해야 하는지 판단하는 데 필요한 증거, 출처(provenance), 검증 이력 없이 저장되는 경우가 많다. 우리는 TRACE-CTI를 제시한다. 이는 실행(run) 수준 Predictions를 보존하고, 이를 구성(configuration) 수준 GraphAssertions로 집계하며, 설정 중복 제거된 상호 검증을 ConsensusAssertions로 구체화하고, 정책 준수 검증 근거(validation grounds)가 뒷받침하는 GraphAssertions만 노출하는 추출 후 클레임 거버넌스 프레임워크이다. 이 프레임워크는 원본 증거의 세분화 수준, 완전한 추출 출처, 버전 관리된 신뢰 결정, 비파괴적 철회 이력을 유지한다. 우리는 65개 보고서와 5,303개 문장으로 구성된 두 공개 CTI 코퍼스에서 TRACE-CTI를 평가한다. 검색기(retriever)와 생성기(generator) 계열의 통제된 2×3 행렬을 사용하여 6개 GraphVersion에 걸쳐 점진적으로 수집한다. 모든 설정은 스키마 수정 없이 통합되며, 출처 경로는 완전하게 유지되고, 운영 범위는 분리(disjoint)되어 있으며, 신뢰할 수 있는 모든 GraphAssertion에는 활성화된 적격 검증 근거가 있다. 생성기 계열 간 교차 설정 쌍은 동일 계열 쌍보다 더 큰 출력 다양성을 보인다. 최종 그래프 상태에서 설정 지원을 k ≥ 1에서 6개 설정 전원 일치(six-setup unanimity)로 늘리면 gold 정렬 정밀도는 25.3%에서 90.6%로 상승하고, 재현율은 88.2%에서 16.3%로 감소한다. 그래프는 또한 출처, 신뢰, 버전 관리, 의존성, 불일치, 검토 대기열(review-queue)에 관한 7가지 질문에 직접 답할 수 있으며, 이는 평가된 최소 평면(flat) 출력이 보강이나 재처리 없이는 완전히 답할 수 없는 질문들이다. 이 결과는 추출된 TTP 주장에 대한 명시적이고 감사 가능한 거버넌스를 뒷받침한다. 관찰된 상호 검증 궤적은 기술적(descriptive)이며 통계적 독립성이나 인과적 모델 계열 효과를 확립하지 않는다.
문서 수준 관계 추출(Document-level relation extraction, DocRE)은 확장된 문맥 전반에 걸친 여러 개체 간의 관계를 추출하면서, 예측된 트리플 간의 일관성을 유지하는 것을 목표로 한다. 대규모 언어 모델(LLM)은 정보 추출에서 뛰어난 추론 능력을 보이지만, 예측이 일반적으로 각 후보 트리플에 대해 독립적으로 생성되어 전이성(transitivity), 대칭성(symmetry), 함수적 유일성(functional uniqueness)과 같은 근본적인 관계 제약을 위반할 수 있으며, 이로 인해 상충되고 신뢰할 수 없는 출력이 발생한다. 우리는 이 한계를 두 가지 상보적인 경로로 해결하는 DocRE를 위한 통합 일관성 인식 프레임워크인 CONSISTRE를 제안한다. 첫 번째 경로는 블랙박스 LLM에 대해 추론 시점에 작동하며, 제약 인식 프롬프팅(constraint-aware prompting), 제약 기반 검증(constraint-based verification), 반복적 자기 성찰(iterative self-reflection)을 결합하여 과제별 미세조정 없이 예측을 정제한다. 두 번째 경로는 지식 증류와 강화학습 파이프라인을 통해 더 작은 오픈소스 모델에 일관성 지식을 주입한다. 강력한 교사 모델의 추론 trace는 지도 미세조정을 통해 학생 모델로 증류되며, 이어서 추출 성능과 관계 일관성을 공동으로 최적화하는 복합 보상을 사용하는 GRPO 정렬이 수행된다. 두 경로는 통합된 일관성 공식화 하에서 API 접근 가능한 시나리오와 로컬 배포 가능한 시나리오를 모두 포괄한다. DocRED에서의 실험은 두 경로 모두 각자의 베이스라인을 능가함을 보여주며, 추론 시점 경로는 상용 블랙박스 LLM으로 경쟁력 있는 F1을 달성하고, 학습 시점 경로는 추론 비용의 일부 수준에서 7–8B 오픈소스 모델과 최첨단 독점 LLM 간의 격차를 상당히 좁힌다. 소거 연구(ablation studies)는 명시적 일관성 모델링이 관계적 모순을 완화하고 두 배포 패러다임 모두에서 LLM 기반 DocRE의 신뢰성을 향상시킴을 확인한다.
대규모 언어 모델(LLM)은 정보 추출(IE)에서 큰 잠재력을 보이지만, 기존의 반성(reflection) 기반 수정 방법은 구조화된 추출 출력과 종종 정렬되지 않는다. 자유 형식의 자기 반성(self-reflection)은 오류를 표시할 수는 있으나, 실패가 누락된 스팬(span), 잘못된 레이블, 경계 불일치, 유효하지 않은 관계 유형, 또는 뒤바뀐 인자 순서 중 어느 것인지는 거의 식별하지 못한다. 우리는 LA-RL(Label-Aware Reflective Reinforcement Learning, 레이블 인식 반성 강화학습)을 제안한다. 이는 작업에 기반한 진단 레이블로 IE 자기 수정을 안내하는 결과 지도(outcome-supervised) 프레임워크이다. 단일 백본(backbone)이 먼저 추출을 예측하고, 작업별 오류 레이블을 진단한 뒤, 진단 결과를 조건으로 출력을 수정한다. 학습은 주석 모델(annotation model)이 레이블을 부여한 진단 데이터로부터 콜드 스타트 지도 미세조정(SFT)을 시작하며, 프로세스 보상 모델 없이 최종 추출 품질, 형식 유효성, 1차 통과 정확성에 보상을 주는 두 단계의 GRPO를 거친다. 개체명 인식, 관계 추출, 이벤트 추출 실험에서 SFT 대비 동일 백본에서 일관된 성능 향상을 보였으며, SciER 관계 추출에서 평균 F1 6.83, 분포 외(out-of-distribution) 관계 추출에서 약 20 F1, DuEE1.0에서 트리거 F1 14.80과 인자 F1 17.50을 기록했다. 절제(ablation) 실험은 반성 구조가 작업에 민감함을 보여준다. 더 강한 제약은 관계 추출에 유리한 반면, 개체명 인식은 도메인 이동(domain shift) 하에서 덜 제한적인 수정이 필요하다.
개체-관계 다이어그램(Entity-Relationship Diagrams, ERD)은 개념적 데이터베이스 설계의 핵심이지만, 일반적으로 기계 판독 가능한 스키마가 아닌 렌더링된 이미지 형태로만 제공되어 AI 지원 데이터베이스 엔지니어링을 제한한다. 본 논문은 ER 다이어그램의 구조화된 이해를 위한 최초의 대규모 벤치마크인 ERUnderstand를 소개한다. ERUnderstand는 엄선된 교육 자료, 실제 스키마, 합성 생성 예시에서 수집한 2,960개의 다이어그램으로 구성되며, 다양한 도메인, 표기법, 복잡도 수준, 확장 개체-관계(Extended Entity-Relationship, EER) 구조를 포괄한다. 각 다이어그램은 스키마 요소에 대한 세밀한 평가를 위해 표준화된 기계 판독 가능 표현과 짝을 이룬다. 최신 비전-언어 모델(VLM)을 평가한 결과, 일반적인 ERD 요소는 신뢰할 만하게 복원되지만(F1 > 0.74), 약 개체(weak entities)(F1 최대 0.28), 다중값 속성(multivalued attributes)(0.14 F1), N-원 관계(N-ary relationships)(0.07 F1)에서는 성능이 급격히 하락한다. 추론(reasoning)이 강화된 모델은 전체 성능을 15-25% 향상시키지만, 언어적 사전 지식(linguistic priors)과 증가하는 다이어그램 복잡도에 여전히 민감하다. ERUnderstand는 개념적 데이터베이스 스키마에 대한 멀티모달 이해를 평가하기 위한 표준화된 벤치마크를 제공한다. 벤치마크, 데이터셋, 평가 도구 키트, 생성 코드는 https://github.com/salinaria/ERUnderstand 에서 공개 제공된다.
유지보수 규정은 특정 사례를 다룰 때 활용하기 어렵고 운영 시스템에 통합하기도 까다로운 복잡한 법률 텍스트이다. 본 논문은 프랑스 유지보수 규정을 위한 2단계 LLM 기반 워크플로를 제시한다: SEMLEG 기반 핵심 온톨로지로부터의 온톨로지 엔지니어링, 그리고 이어서 온톨로지에 기반한(ontology-grounded) 프랑스 법률 지식 그래프의 구축. 1단계는 계층화된 코퍼스 샘플로부터 유형화된 엔티티와 트리플의 개방 추출(open extraction), 임베딩 기반 융합을 통한 레이블 정규화, 그리고 시그니처(도메인과 레인지)를 갖는 후보 객체 속성(object property)의 유도로 구성된다. 2단계는 결과 온톨로지를 사용하여 전체 코퍼스에 대한 트리플의 폐쇄 추출(closed extraction)과 RDF 그래프 구축을 안내한다. GPT-4.1과 mistral-large-2512를 사용한 실험은 견고한 구조화 출력, 거의 완전한 클래스 정렬, 그리고 융합 후 중복 엔티티와 술어의 상당한 감소를 보여준다. 트리플의 20% 미만이 새로운 속성을 도입하며, 더 낮은 정확한 시그니처 준수는 기존 술어에 대한 새로운 도메인-레인지 조합을 드러낸다. 이러한 결과는 산업 유지보수 환경에서 술어 정규화와 새로 관찰된 관계 시그니처의 검증이 핵심 정제 단계임을 시사한다.