Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning
원문 초록
Heterogeneous graph neural network (HGNN) is a very popular technique for the modeling and analysis of heterogeneous graphs. Most existing HGNN-based approaches are supervised or semi-supervised learning methods requiring graphs to be annotated, which is costly and time-consuming. Self-supervised contrastive learning has been proposed to address the problem of requiring annotated data by mining intrinsic information hidden within the given data. However, the existing contrastive learning methods are inadequate for heterogeneous graphs because they construct contrastive views only based on data perturbation or pre-defined structural properties (e.g., meta-path) in graph data while ignore the noises that may exist in both node attributes and graph topologies. We develop for the first time a novel and robust heterogeneous graph contrastive learning approach, namely HGCL, which introduces two views on respective guidance of node attributes and graph topologies and integrates and enhances them by reciprocally contrastive mechanism to better model heterogeneous graphs. In this new approach, we adopt distinct but most suitable attribute and topology fusion mechanisms in the two views, which are conducive to mining relevant information in attributes and topologies separately. We further use both attribute similarity and topological correlation to construct high-quality contrastive samples. Extensive experiments on three large real-world heterogeneous graphs demonstrate the superiority and robustness of HGCL over state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조건부 시각적 증거 유틸리티: 동결된 비전-언어 인코더에서의 상태 의존적 순위 역전
Conditional Visual Evidence Utility: State-Dependent Rank Reversals in Frozen Vision-Language Encoders
정적 중요도 점수는 시각적 증거를 단일 순위로 압축하지만, 하나의 단서가 관측된 뒤에는 남은 증거의 가치가 바뀔 수 있다. 우리는 색상, 형태, 질감 증거를 독립적으로 노출할 수 있고 획득 상태에 걸쳐 조건부 한계 효용(conditional marginal utility)을 측정할 수 있는 통제된 구성적 시각 탐색에서 이러한 가능성을 연구한다. 800개 장면에 대한 홀드아웃 검증에서, 동결된 OpenCLIP과 SigLIP은 순서 변화를 유도하도록 설계된 후보 중첩 영역에 집중되고, 두 가지 증거 누적 구성과 10개의 동등한 쿼리 표현 전반에서 지속되며, 쿼리-장면 교란(query-scene derangement) 하에서는 거의 무작위 수준의 동작으로 붕괴하는 견고한 상태 의존적 순위 역전을 보인다. 1,200개 장면에 대한 후속 역할 균형(role-balanced) 추적 연구에서는 초기에 강한 속성, 중복을 유발하는 속성, 비교 속성의 추상적 역할을 순환시킨다. 잔여 속성-정체성 효과가 남아 있긴 하지만, 양성-음성 역전 대비(positive-minus-negative reversal contrast)는 24개의 모든 역할 순열, 백본 및 증거 모드 셀 전반에서 양의 값을 유지한다. 나아가 우리는 측정된 재계획 기회와 전향적 예측 가능성을 구분한다. 첫 행동 일치 유틸리티 분석은 남은 증거의 순위를 재조정할 상당한 기회가 있음을 보여주지만, 사후(posterior) 기반 또는 획득 임베딩 상태 표현을 사용하는 경량 예측기는 역할 균형 벤치마크에서 적합한 정적 대조군 대비 획득 상태 정보의 견고한 점진적 이점을 확립하지 못한다. 종합하면, 이러한 결과는 이 통제된 설정에서 조건부 시각적 증거 유틸리티가 신뢰할 수 있을 정도로 상태 의존적임을 보여주는 동시에, 변화하는 유틸리티의 존재와 그러한 변화가 학습된 선택기에 의해 전향적으로 예측 가능하다는 더 강한 주장을 분리한다.
텍스트 조건 변환을 통한 임베딩 공간 제어
Controlling Embedding Spaces with Text-Conditioned Transformations
CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/
Masked Topology Modeling for Self-Supervised Learning on Parametric CAD
UniSAGE: Hyper-Structure를 통한 정적·동적 속성 통합
UniSAGE: Unifying Static and Dynamic Attributes with Hyper-Structure
디지털 데이터의 급속한 증가로, 실제 응용에서는 정적 속성과 동적 레코드를 결합한 계층적 정보를 다루는 경우가 점점 늘어나고 있다. 이러한 이종 데이터를 통합적이고 일반화 가능한 방식으로 모델링하는 것은 여전히 어려운 과제이다. 기존 접근법은 종종 광범위한 수동 설계에 의존하고, 특정 데이터 스키마에 밀접하게 결합되며, 일반적으로 정적 속성과 동적 속성을 개별적으로 처리하여 이들의 암묵적 상호작용을 간과한다. 우리는 정적 및 동적 속성을 모두 갖는 데이터를 모델링하기 위한 통합 프레임워크인 UniSAGE를 제안한다. UniSAGE는 계층적 관계와 시간적 관계를 통합 구조로 표현하는 전역 속성 그래프를 구축한다. 표현의 일관성을 보장하기 위해, 공유 의미 공간 내에서 정적 집계와 동적 추론을 공동으로 지원하는 두 개의 직교 매개변수 부분공간을 도입한다. 이러한 통합 표현을 기반으로, UniSAGE는 경량 hyper-structure 메커니즘을 통해 정적 속성과 동적 속성 간의 과제 특화 상호작용을 추가로 가능하게 한다. UniSAGE는 완전 자동화되어 있으며, 변화하는 데이터 스키마에 강건하고, 복잡한 속성 간 의존성을 포착할 수 있다. 여러 공개 벤치마크와 실제 금융 행동 데이터셋에 대한 광범위한 실험은 UniSAGE가 기존 방법을 일관되게 능가하며, 여러 과제에서 10% 이상의 성능 향상을 달성함을 보여준다.
Hypergraph Contrastive Learning for Drug Trafficking Community Detection
Multi-modal Siamese Network for Entity Alignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.