Reinforcement Learning-based N-ary Cross-Sentence Relation Extraction
원문 초록
The models of n-ary cross sentence relation extraction based on distant supervision assume that consecutive sentences mentioning n entities describe the relation of these n entities. However, on one hand, this assumption introduces noisy labeled data and harms the models' performance. On the other hand, some non-consecutive sentences also describe one relation and these sentences cannot be labeled under this assumption. In this paper, we relax this strong assumption by a weaker distant supervision assumption to address the second issue and propose a novel sentence distribution estimator model to address the first problem. This estimator selects correctly labeled sentences to alleviate the effect of noisy data is a two-level agent reinforcement learning model. In addition, a novel universal relation extractor with a hybrid approach of attention mechanism and PCNN is proposed such that it can be deployed in any tasks, including consecutive and nonconsecutive sentences. Experiments demonstrate that the proposed model can reduce the impact of noisy data and achieve better performance on general n-ary cross sentence relation extraction task compared to baseline models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Imitation Learning for Sentence Generation with Dilated Convolutions Using Adversarial Training
SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
CONSISTRE: 대규모 언어 모델을 활용한 문서 수준 관계 추출을 위한 통합 일관성 인식 프레임워크
CONSISTRE: A Unified Consistency-Aware Framework for Document-Level Relation Extraction with Large Language Models
문서 수준 관계 추출(Document-level relation extraction, DocRE)은 확장된 문맥 전반에 걸친 여러 개체 간의 관계를 추출하면서, 예측된 트리플 간의 일관성을 유지하는 것을 목표로 한다. 대규모 언어 모델(LLM)은 정보 추출에서 뛰어난 추론 능력을 보이지만, 예측이 일반적으로 각 후보 트리플에 대해 독립적으로 생성되어 전이성(transitivity), 대칭성(symmetry), 함수적 유일성(functional uniqueness)과 같은 근본적인 관계 제약을 위반할 수 있으며, 이로 인해 상충되고 신뢰할 수 없는 출력이 발생한다. 우리는 이 한계를 두 가지 상보적인 경로로 해결하는 DocRE를 위한 통합 일관성 인식 프레임워크인 CONSISTRE를 제안한다. 첫 번째 경로는 블랙박스 LLM에 대해 추론 시점에 작동하며, 제약 인식 프롬프팅(constraint-aware prompting), 제약 기반 검증(constraint-based verification), 반복적 자기 성찰(iterative self-reflection)을 결합하여 과제별 미세조정 없이 예측을 정제한다. 두 번째 경로는 지식 증류와 강화학습 파이프라인을 통해 더 작은 오픈소스 모델에 일관성 지식을 주입한다. 강력한 교사 모델의 추론 trace는 지도 미세조정을 통해 학생 모델로 증류되며, 이어서 추출 성능과 관계 일관성을 공동으로 최적화하는 복합 보상을 사용하는 GRPO 정렬이 수행된다. 두 경로는 통합된 일관성 공식화 하에서 API 접근 가능한 시나리오와 로컬 배포 가능한 시나리오를 모두 포괄한다. DocRED에서의 실험은 두 경로 모두 각자의 베이스라인을 능가함을 보여주며, 추론 시점 경로는 상용 블랙박스 LLM으로 경쟁력 있는 F1을 달성하고, 학습 시점 경로는 추론 비용의 일부 수준에서 7–8B 오픈소스 모델과 최첨단 독점 LLM 간의 격차를 상당히 좁힌다. 소거 연구(ablation studies)는 명시적 일관성 모델링이 관계적 모순을 완화하고 두 배포 패러다임 모두에서 LLM 기반 DocRE의 신뢰성을 향상시킴을 확인한다.
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Document-Level Relation Extraction with Structure Enhanced Transformer Encoder
토론
이 논문과 연결된 포럼 글이 아직 없습니다.