LEAN-LIFE: A Label-Efficient Annotation Framework Towards Learning from Explanation
원문 초록
Successfully training a deep neural network demands a huge corpus of labeled data. However, each label only provides limited information to learn from and collecting the requisite number of labels involves massive human effort. In this work, we introduce LEAN-LIFE, a web-based, Label-Efficient AnnotatioN framework for sequence labeling and classification tasks, with an easy-to-use UI that not only allows an annotator to provide the needed labels for a task, but also enables LearnIng From Explanations for each labeling decision. Such explanations enable us to generate useful additional labeled data from unlabeled instances, bolstering the pool of available training data. On three popular NLP tasks (named entity recognition, relation extraction, sentiment analysis), we find that using this enhanced supervision allows our models to surpass competitive baseline F1 scores by more than 5-10 percentage points, while using 2X times fewer labeled instances. Our framework is the first to utilize this enhanced supervision technique and does so for three important tasks -- thus providing improved annotation recommendations to users and an ability to build datasets of (data, label, explanation) triples instead of the regular (data, label) pair.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Neural Named Entity Recognition and Multi-Type Normalization Tool for Biomedical Text Mining
HealthcareNLP: 현재 우리는 어디에 있으며 다음 단계는 무엇인가?
HealthcareNLP: where are we and what is next?
본 튜토리얼은 자연어 처리(NLP)의 헬스케어 도메인 적용, HealthcareNLP 분야에서 우리가 달성한 성과, 그리고 미래를 향한 과제에 초점을 맞춥니다. 이 분야의 기존 리뷰들은 개인정보 보호 문제를 해결하기 위한 합성 데이터 생성이나 보다 나은 통합 및 구현을 위한 설명 가능한 임상 NLP 같은 몇 가지 중요한 태스크를 간과하거나, 검색-증강 생성(RAG) 및 대규모 언어 모델(LLM)과 지식 그래프(KG)의 뉴로-심볼릭 통합을 포함한 주요 방법론을 언급하지 못했습니다. 이러한 점을 고려하여, 본 튜토리얼의 목표는 3단계 계층 구조를 통해 환자 및 자원 지향적인 HealthcareNLP의 가장 중요한 하위 분야에 대한 입문적 개요를 제공하는 것입니다. 3단계 계층은 데이터/자원 층(어노테이션 가이드라인, 윤리적 승인, 거버넌스, 합성 데이터), NLP-평가(Eval) 층(개체명 인식(NER), 관계 추출(RE), 감성 분석과 같은 NLP 태스크 및 분류된 방법론을 통한 링킹/코딩, 이를 통한 설명 가능한 HealthAI 구축), 환자 층(환자 및 대중 참여(PPIE), 건강 이해도, 번역, 단순화, 요약(이 역시 NLP 태스크임), 공유 의사결정 지원)으로 구성됩니다. 청중이 HealthcareNLP 애플리케이션을 직접 사용할 수 있도록 튜토리얼에 실습 세션이 포함될 예정입니다. 대상 청중은 헬스케어 응용 분야의 NLP 실무자, 도메인 응용에 관심이 있는 NLP 연구자, 헬스케어 연구자, 그리고 NLP 분야의 학생들입니다. 본 튜토리얼의 유형은 "CL/NLP 주제 입문(HealthcareNLP)"이며 청중은 참석을 위한 사전 지식이 필요하지 않습니다. 튜토리얼 자료: https://github.com/4dpicture/HealthNLP
IHUBERT: 페르시아어 자원을 위한 벡터 기반 시맨틱 중복 제거 및 도메인 균형 사전학습
IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources
페르시아어 사전학습 언어 모델(PLM)은 대규모 고품질 사전학습 말뭉치의 부족과 표준 분류(classification) 및 개체명 인식(NER) 작업을 넘어선 평가의 부족으로 인해 여전히 제한적입니다. 본 논문에서는 Sepahr-Danesh 컬렉션의 45GB 큐레이션된 서브셋(약 70~80억 토큰)에서 RoBERTa-base 인코더(1.25억 파라미터)를 사용하여 처음부터 학습된 단일 언어 페르시아어 PLM인 IHUBERT를 제시합니다. 말뭉치 품질을 개선하고 중복성을 줄이기 위해, 정규화(normalization), 정확 및 근접 중복 제거, 익명화, 그리고 도메인 및 레지스터 전반의 분포 균형 제어를 위한 벡터 데이터베이스 기반 시맨틱 중복 제거를 포함하는 다단계 전처리 파이프라인을 사용합니다. 또한, 페르시아어 형태론과 표기법 변이를 더 잘 포착하기 위해 전체 사전학습 말뭉치에 대해 어휘 크기 139k의 BPE 토크나이저를 학습했습니다. IHUBERT는 개체명 인식(NER), 감성 분석(sentiment analysis), 주제 분류, 자연어 추론(NLI), 추출형 질의응답, 관계 추출을 포함하는 7개의 페르시아어 자연어 이해(NLU) 벤치마크에서 평가되었으며, 작업별 표준 지표(엔티티 수준 F1, Macro-F1, EM/F1)를 사용했습니다. IHUBERT는 추출형 질의응답에서 가장 강력한 성과를 보여 PQuAD (F1 88.3542)와 ParsiNLU-RC (F1 49.0987) 모두에서 1위를 차지했으며, FarsTail (Macro-F1 0.8350)에서도 최고의 결과를 달성했습니다. 개체명 인식(NER)과 주제 분류에서는 경쟁력 있는 성과를 보였으나(예: ParsTwiNER에서 F1 0.8308; DigiMag에서 Macro-F1 0.7953), 관계 추출은 여전히 주요한 개선이 필요한 부분으로 남아 있습니다(PERLEX에서 Macro-F1 0.6684). IHUBERT 사전학습 말뭉치에 대한 통제된 토크나이저 소거(ablation) 실험 결과, 동일한 어휘 크기에서 BPE가 WordPiece보다 서브워드 파편화가 약간 더 낮은 것으로 나타나 우리의 토큰화(tokenization) 설계를 뒷받침합니다. 전반적으로 IHUBERT는 의미적으로 큐레이션된 대규모 사전학습과 분류 및 이해 지향적 작업에 걸친 광범위한 평가를 통해 페르시아어 언어 모델링을 고도화했습니다.
SAMA: 통합 저자원 멀티모달 정보 추출을 위한 시맨틱 앵커 정렬 데이터 증강
SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction
멀티모달 정보 추출(MIE)은 멀티모달 개체명 인식(MNER), 관계 추출(MRE), 이벤트 추출(MEE)와 같은 작업을 포함하며, 멀티미디어 콘텐츠 이해에 필수적이지만 심각한 데이터 희소성으로 인해 여전히 제약이 있습니다. 데이터 증강은 유망한 해결책이지만, 기존 접근 방식은 조잡한 모달 간 정렬과 공유 시맨틱 지식을 활용하지 못하는 파편화된 작업 특화 설계로 인해 한계가 있습니다. 이러한 한계를 극복하기 위해, 우리는 고품질의 태스크 인식 합성 데이터를 생성하는 통합 프레임워크인 시맨틱 앵커 정렬 멀티모달 증강(SAMA)을 소개합니다. SAMA는 ground-truth 레이블에서 구조화된 시맨틱 앵커를 구성하여 협업형 다중 전문가 멀티모달 대규모 언어 모델(CME-MLLM)을 안내하며, 이 모델은 공유 시맨틱을 위한 유니버설 어댑터와 태스크 특화 어댑터를 통합하여 다양하면서도 제약 조건을 준수하는 텍스트 샘플을 생성합니다. 이미지 합성을 위해 SAMA는 앵커 가중치 프롬프트와 잠재 조건을 사용하여 시각적 맥락을 다양화하는 동시에 핵심 시맨틱 앵커를 유지하는 앵커 보존 디퓨전(Anchor-Preserving Diffusion) 메커니즘을 사용합니다. 수동 검증의 필요성을 제거하기 위해 SAMA는 모달 간 일관성과 앵커 충실도를 기반으로 합성 샘플을 선택하는 이중 제약 필터링(Dual-Constraint Filtering) 모듈을 추가로 도입합니다. MNER, MRE, MEE에 대한 벤치마크 데이터셋에서 수행한 광범위한 실험을 통해 SAMA가 완전 지도 및 저자원 설정 모두에서 최첨단 증강 기준선을 일관되게 능가함을 입증하였으며, 이는 그 다양성, 견고성, 그리고 효과성을 강조합니다.
Transformer-Based Named Entity Recognition for Automated Server Provisioning
HEProto: A Hierarchical Enhancing ProtoNet based on Multi-Task Learning for Few-shot Named Entity Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.