arXiv:2101.00124

Discourse-level Relation Extraction via Graph Pooling

I-Hung Hsu, Xiao Guo, Premkumar Natarajan, Nanyun Peng

제출 2021-01-01

원문 초록

The ability to capture complex linguistic structures and long-term dependencies among words in the passage is essential for discourse-level relation extraction (DRE) tasks. Graph neural networks (GNNs), one of the methods to encode dependency graphs, have been shown effective in prior works for DRE. However, relatively little attention has been paid to receptive fields of GNNs, which can be crucial for cases with extremely long text that requires discourse understanding. In this work, we leverage the idea of graph pooling and propose to use pooling-unpooling framework on DRE tasks. The pooling branch reduces the graph size and enables the GNNs to obtain larger receptive fields within fewer layers; the unpooling branch restores the pooled graph to its original resolution so that representations for entity mention can be extracted. We propose Clause Matching (CM), a novel linguistically inspired graph pooling method for NLP tasks. Experiments on two DRE datasets demonstrate that our models significantly improve over baselines when modeling long-term dependencies is required, which shows the effectiveness of the pooling-unpooling framework and our CM pooling method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26780v2cs.CL공통 태그 Relation, Natural Language Understanding

SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.

arXiv:2606.26753v1cs.CL공통 태그 Natural Language Understanding, Relation Extraction

ConvMemory v3: 목표 조건 관계 검증을 통한 대화형 메모리의 유효성 컨텍스트 층

ConvMemory v3: A Validity Context Layer for Conversational Memory via Target-Conditioned Relation Verification

대화형 메모리 검색(retrieval)은 관련성을 최적화하지만, 검색된 메모리는 관련성이 있으면서 동시에 시대에 뒤떨어질 수 있다. 이후 턴이 해당 메모리를 업데이트하거나, 수정하거나, 대체한다. ConvMemory v3는 목표 조건 관계 검증을 통해 이러한 업데이트 근거를 감지하고 표면화하는 유효성 컨텍스트 층을 추가한다. 이 층은 v1/v2 검색 경로 이후에 위치한다. 핵심 메커니즘은 특정 목표 명제(proposition)에 관계 판단을 조건화하는 이중 근거 게이트이다. MiniLM 슬롯 헤드와 DeBERTa-v3 슬롯 헤드의 곱으로 (target, source) 쌍을 점수화하고, 보수적인 event/operation 근거로 게이팅한다. 합성 다중 홉 유효성 벤치마크에서 이 게이트는 90.12% +/- 1.73 정확도를 달성한다. 실제 데이터 피드백 루프를 통해 실패 패턴을 채굴하지만 합성 쌍에서만 학습하는 과정에서, 검증기는 목표 측 라벨이 전혀 없는 Memora 역할 바인딩(role binding)으로 전이되어 98.8% +/- 0.9 group-all-correct를 달성한다. 배포된 층은 기본적으로 검색을 유지한다. 컨텍스트 모드는 후보 집합과 순위 순서를 고정한 채 구조화된 유효성 메타데이터를 부착한다. 쿼리 조건 강등(demote) 모드는 dense current-state 워크로드에 대한 명시적 옵트인이며, 여기서 current-active H@1을 강등 없음 기준선 45.1%에서 95.7% +/- 1.2로 높이는 동시에 비대체(non-superseded) 메모리를 99.4% 재현율로 보호한다. 6개의 기계 검증 가능 안전성 계약이 이 층의 동작을 고정한다. 다중 홉 그래프 전파는 메커니즘으로 검증되었다. 엄격한 선행조건 엣지의 완전 자동 구축은 한계로 규정된다. 엄격한 필요성(necessity)은 반사실적(counterfactual) 세계 지식을 요구하기 때문이다. 본 보고서는 ConvMemory v1 (arXiv:2605.28062)과 v2 (arXiv:2606.10842)를 확장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.