Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision
원문 초록
Contrastive pre-training on distant supervision has shown remarkable effectiveness in improving supervised relation extraction tasks. However, the existing methods ignore the intrinsic noise of distant supervision during the pre-training stage. In this paper, we propose a weighted contrastive learning method by leveraging the supervised data to estimate the reliability of pre-training instances and explicitly reduce the effect of noise. Experimental results on three supervised datasets demonstrate the advantages of our proposed weighted contrastive learning approach compared to two state-of-the-art non-weighted baselines.Our code and models are available at: https://github.com/YukinoWan/WCL
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
BindCLIP: 구성적 비전-언어 스코어링을 위한 하나의 균형 잡힌 커플링
BindCLIP: One Balanced Coupling For Compositional Vision Language Scoring
전역 비전-언어 유사도(global vision-language similarity)는 이미지와 캡션을 하나의 벡터로 압축하여 의미는 보존하지만, 어떤 단어가 어떤 영역에 대응하는지 또는 그 영역들이 어떻게 배치되어 있는지는 보존하지 못한다. 그 결과 모델은 모든 단어와 객체를 인식하면서도 구성적으로 잘못된 캡션을 선호할 수 있다. 우리는 고정된(frozen) 인코더가 이러한 연관 구조를 이미 보유하고 있으며, 따라서 문제는 사전학습된 유사도 옆에 이를 재구축하는 것이 아니라 그것을 읽어내는 것이라고 주장한다. 우리는 하나의 잠재 객체 위에 구축된 쌍별(pairwise) 스코어러인 BindCLIP을 제안한다: 이는 후보 캡션들과 여러 시각적 깊이(visual depth)를 하나의 계획(plan)에 배치하는 균형 잡힌 토큰-패치-깊이 최적수송(optimal-transport) 커플링이다. 의미적, 개체적, 순서적, 공간적 증거는 이 상태의 에너지로 읽히며, 후보들을 교환하면 계획이 치환되어 점수가 정확히 반대칭(antisymmetric)이 된다. 커플링 내부의 기하학적 정제(geometric refinement)는 후보들과 시각적 깊이가 뒷받침하지 않는 이동(move)을 수축시킨다. 과제 레이블, 파서(parser), 관계 목록(relation inventory), 검출기(detector)는 전혀 사용되지 않는다. 하나의 체크포인트와 하나의 추론 경로만으로 고정된 전역 CLIP 대비 공식 What'sUp, ARO, SugarCrepe 벤치마크에서 성능이 향상되며, 관계(relation) 분할에서 가장 강한 전이(transfer) 성능을 보인다. 대조군(control) 실험은 패치 접근이나 캡션 길이를 이용한 지름길(shortcut) 가능성을 배제하며, 추론 시점의 병변(lesion) 실험은 공간적 배치 정보가 커플링에 국지화되어 있음을 보여준다.
Grad: Guided Relation Diffusion Generation for Graph Augmentation in Graph Fraud Detection
Document-Level Relation Extraction with Structure Enhanced Transformer Encoder
Improving Document-level Relation Extraction via Contextualizing Mention Representations and Weighting Mention Pairs
Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.