arXiv:2109.04108

MapRE: An Effective Semantic Mapping Approach for Low-resource Relation Extraction

Manqing Dong, Chunguang Pan, Zhipeng Luo

제출 2021-09-09

원문 초록

Neural relation extraction models have shown promising results in recent years; however, the model performance drops dramatically given only a few training samples. Recent works try leveraging the advance in few-shot learning to solve the low resource problem, where they train label-agnostic models to directly compare the semantic similarities among context sentences in the embedding space. However, the label-aware information, i.e., the relation label that contains the semantic knowledge of the relation itself, is often neglected for prediction. In this work, we propose a framework considering both label-agnostic and label-aware semantic mapping information for low resource relation extraction. We show that incorporating the above two types of mapping information in both pretraining and fine-tuning can significantly improve the model performance on low-resource relation extraction tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.31718v1cs.CL공통 태그 Few-Shot Learning, Relation Extraction

대규모 언어 모델을 활용한 교차 언어 관계 추출: 루마니아어에 대한 제로샷, 퓨샷 및 미세조정 평가

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

저자원 언어의 관계 추출(RE)은 일반적으로 주석 코퍼스의 부재로 인해 제약을 받는다. 본 연구는 자동 데이터셋 번역과 대규모 언어 모델(LLM) 추론을 결합하여 루마니아어에 대한 교차 언어 RE의 실현 가능성을 탐구한다. SemEval-2010 Task 8 벤치마크를 LLM 기반 번역 파이프라인을 통해 영어에서 루마니아어로 번역하고, 제로샷, 퓨샷, QLoRA 미세조정 설정 하에서 Gemma 4 31B를 평가하였으며, 125M에서 560M 파라미터 규모의 네 가지 인코더 기준 모델인 XLM-RoBERTa(base 및 large), Romanian BERT, RoBERT-large와 비교하였다. 표시된 개체를 활용한 관계 분류와 종단 간 추출이라는 두 가지 태스크 형식을 평가하였다. 결과에 따르면, 루마니아어는 프롬프트 단독 설정에서 영어 대비 3~5 퍼센트포인트(pp) 하락이 발생하였고, 퓨샷 프롬프팅은 제로샷 대비 미미한 성능 향상만을 제공하였으며, QLoRA 미세조정은 두 언어 모두에서 매크로 F1-Score를 22 퍼센트포인트 이상 향상시키면서 교차 언어 격차를 3.3pp에서 1.4pp로 줄였다. 인코더 기준 모델들은 QLoRA Gemma보다 50~250배 작음에도 불구하고 루마니아어에서 1~4pp 이내의 성능 차이를 보였으며, 125M 파라미터의 단일 언어 Romanian BERT는 278M 파라미터의 다국어 XLM-R에 필적하는 성능을 달성하였다. 따라서 컴퓨팅 자원이 중요한 배포 환경에서는 루마니아어 단일 태스크 RE를 위해 31B 모델을 사용하는 근거가 약하다. 번역된 데이터셋, 평가 코드, 학습된 모델을 공개한다.

arXiv:2606.29407v1cs.CL공통 태그 Few-Shot Learning, Relation Extraction

LC-ICL: 강건한 정보 추출을 위한 레이블 가이드 대조적 문맥 내 학습

LC-ICL: Label-Guided Contrastive In-Context Learning for Robust Information Extraction

정보 추출(IE) 분야에서 고급 대규모 언어 모델(LLM)의 능력을 탐구하는 관심이 증가하고 있으며, 특히 개체명 인식(NER) 및 관계 추출(RE) 관련 태스크에 초점이 맞춰지고 있다. 연구자들이 LLM과 함께 문맥 내 학습(ICL)을 통한 퓨샷 정보 추출 활용을 탐구하고 있지만, 시연에 올바른 예시나 긍정적 예시만을 사용하는 경향이 있으며, 학습 과정에 잘못된 예시나 부정적 예시를 통합하는 잠재적 가치는 간과하고 있다. 본 논문에서는 문맥 내 학습 시연을 구성하기 위해 올바른 샘플과 잘못된 샘플 구성을 모두 활용하는 새로운 퓨샷 기법인 LC-ICL을 제안한다. 이 접근법은 오류 원인 레이블로 주석된 부정 샘플과 긍정 샘플을 결합하여 LLM이 개체와 관계를 추출하는 능력을 향상시킨다. 이러한 레이블은 오류 예시 내의 더 상세한 오류 특징을 드러내어, 모델이 유사한 예측이 왜 실패하는지 이해하고 추론 시 동일한 오류를 반복하지 않도록 한다. 구체적으로, 제안하는 방법은 어려운 부정 샘플과 테스트와 가장 가까운 긍정 이웃의 내재적 문맥 정보 및 가치 있는 정보를 활용한 뒤, LLM 기반의 문맥 내 학습 시연을 적용한다. 다양한 데이터셋에 대한 실험 결과, LC-ICL은 기존 퓨샷 문맥 내 학습 방법을 능가하며 광범위한 관련 태스크에 걸쳐 성능을 실질적으로 향상시킨다. 이러한 향상은 다양한 시나리오에서 우리 접근법의 범용성을 보여주는 주목할 만한 결과이다.

arXiv:2606.29639v1cs.CL공통 태그 Few-Shot Learning, Relation Extraction

퓨샷 관계 추출을 위한 2단계 프롬프트 최적화: 추론 기반 탐색에서 그래디언트 기반 정제까지

Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement

자동 프롬프트 최적화는 소규모 언어 모델을 활용한 에피소딕 퓨샷 관계 추출(relation extraction) 분야에서 아직 충분히 탐구되지 않았다. 본 연구에서는 추론 기반 프롬프트 최적화와 그래디언트 기반 프롬프트 최적화를 결합한 2단계 프레임워크를 제안한다. 첫 번째 단계에서는 임의의 추론 기반 옵티마이저를 사용하여 자연어 수준에서 광범위한 프롬프트 개선을 수행한다. 두 번째 단계에서는 손실 및 그래디언트 신호를 활용하여 영향력이 높은 프롬프트 구간을 식별하고 국소적 편집으로 이를 정제하는 GradPO를 적용한다. FS-TACRED와 FS-FewRel에 대한 실험 결과, 국소적 정제가 대부분의 경우 첫 번째 단계에서 찾은 프롬프트를 개선하며, GradPO가 가장 일관성 있는 정제기임을 보인다. 제안 프레임워크는 Qwen3-4B를 사용하여 FS-TACRED에서 최첨단 성능을 달성하고, FS-FewRel에서도 경쟁력 있는 성능을 유지한다.

arXiv:2606.27446v1cs.CL공통 태그 Few-Shot Learning, Relation Extraction

인과 연결: FinCausal 2026 금융 QA를 위한 다국어 미세조정 활용

Causal Connections: Leveraging Multilingual Fine-Tuning for Financial QA@FinCausal 2026

본 논문은 HSA_CORAL 팀이 FinCausal 2026 공유 과제에 제출한 시스템을 설명한다. 해당 과제는 영어와 스페인어 금융 서사에서 추출형 질의응답(extractive question answering)을 통해 인과 관계를 추출하는 것이다. 세 가지 모델 계열을 비교한다: (i) 다국어 BERT를 사용한 인코더 전용 토큰 태깅, (ii) 다국어 BART를 사용한 인코더-디코더 생성, (iii) 프롬프트 정제, 퓨샷(few-shot) 예시, 지도 미세조정을 적용한 디코더 전용 LLM(Llama 3.1 및 GPT 계열). 설정 전반에 걸쳐 프롬프트와 퓨샷 예시는 경쟁력 있는 성능을 보였으며, 지도 미세조정이 가장 큰 성능 향상을 제공했다. 최고 성능 시스템인 GPT-4.1 Mini는 영어와 스페인어 학습 데이터를 결합하여 미세조정되었으며, 공유 과제의 LLM-as-a-judge 지표에서 영어 하위 과제에서 최고 점수와 동률(점수 4.8140)을 기록하고 스페인어에서는 3위(점수 4.7753)를 차지했다. 전반적으로 결과는 금융 인과 QA에서 교차 언어 전이를 위해 과제별 적응과 다국어 미세조정의 가치를 부각한다.

arXiv:2606.18780v1cs.CV공통 태그 Few-Shot Learning, Relation Extraction

SAMA: 통합 저자원 멀티모달 정보 추출을 위한 시맨틱 앵커 정렬 데이터 증강

SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction

멀티모달 정보 추출(MIE)은 멀티모달 개체명 인식(MNER), 관계 추출(MRE), 이벤트 추출(MEE)와 같은 작업을 포함하며, 멀티미디어 콘텐츠 이해에 필수적이지만 심각한 데이터 희소성으로 인해 여전히 제약이 있습니다. 데이터 증강은 유망한 해결책이지만, 기존 접근 방식은 조잡한 모달 간 정렬과 공유 시맨틱 지식을 활용하지 못하는 파편화된 작업 특화 설계로 인해 한계가 있습니다. 이러한 한계를 극복하기 위해, 우리는 고품질의 태스크 인식 합성 데이터를 생성하는 통합 프레임워크인 시맨틱 앵커 정렬 멀티모달 증강(SAMA)을 소개합니다. SAMA는 ground-truth 레이블에서 구조화된 시맨틱 앵커를 구성하여 협업형 다중 전문가 멀티모달 대규모 언어 모델(CME-MLLM)을 안내하며, 이 모델은 공유 시맨틱을 위한 유니버설 어댑터와 태스크 특화 어댑터를 통합하여 다양하면서도 제약 조건을 준수하는 텍스트 샘플을 생성합니다. 이미지 합성을 위해 SAMA는 앵커 가중치 프롬프트와 잠재 조건을 사용하여 시각적 맥락을 다양화하는 동시에 핵심 시맨틱 앵커를 유지하는 앵커 보존 디퓨전(Anchor-Preserving Diffusion) 메커니즘을 사용합니다. 수동 검증의 필요성을 제거하기 위해 SAMA는 모달 간 일관성과 앵커 충실도를 기반으로 합성 샘플을 선택하는 이중 제약 필터링(Dual-Constraint Filtering) 모듈을 추가로 도입합니다. MNER, MRE, MEE에 대한 벤치마크 데이터셋에서 수행한 광범위한 실험을 통해 SAMA가 완전 지도 및 저자원 설정 모두에서 최첨단 증강 기준선을 일관되게 능가함을 입증하였으며, 이는 그 다양성, 견고성, 그리고 효과성을 강조합니다.

arXiv:2606.18620v1cs.CL공통 태그 Few-Shot Learning, Relation Extraction

BCL: 정보 추출을 위한 베이지안 문맥 내 학습 프레임워크

BCL: Bayesian In-Context Learning Framework for Information Extraction

기존 정보 추출(IE) 작업들은 대규모 언어 모델(LLM)을 활용한 문맥 내 학습(ICL)을 점차 더 많이 채택하고 있습니다. 그러나 현재의 접근 방식들은 모델 규모에 따라 성능이 일관되지 않거나, 체계적인 최적화와 일반화가 부족하다는 문제가 있습니다. 이에 기반하여, 우리는 IE 작업 전반에 걸쳐 레이블 표현을 체계적으로 정제하기 위해 파티클 필터링과 베이지안 업데이트를 활용하는 최초의 최적화 프레임워크인 BCL(Bayesian In-Context Learning Framework for Information Extraction)을 제안합니다. 초기화, 관찰, 가중치 업데이트, 리샘플링의 네 단계를 통해, BCL은 시퀀스 라벨링과 관계 분류 패러다임 모두에 일반화될 수 있습니다. 광범위한 실험을 통해 기존 접근 방식 대비 상당하고 일관된 개선 효과가 입증되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.