arXiv:2310.16375

DyExplainer: Explainable Dynamic Graph Neural Networks

Tianchun Wang, Dongsheng Luo, Wei Cheng, Haifeng Chen, Xiang Zhang

제출 2023-10-25

원문 초록

Graph Neural Networks (GNNs) resurge as a trending research subject owing to their impressive ability to capture representations from graph-structured data. However, the black-box nature of GNNs presents a significant challenge in terms of comprehending and trusting these models, thereby limiting their practical applications in mission-critical scenarios. Although there has been substantial progress in the field of explaining GNNs in recent years, the majority of these studies are centered on static graphs, leaving the explanation of dynamic GNNs largely unexplored. Dynamic GNNs, with their ever-evolving graph structures, pose a unique challenge and require additional efforts to effectively capture temporal dependencies and structural relationships. To address this challenge, we present DyExplainer, a novel approach to explaining dynamic GNNs on the fly. DyExplainer trains a dynamic GNN backbone to extract representations of the graph at each snapshot, while simultaneously exploring structural relationships and temporal dependencies through a sparse attention technique. To preserve the desired properties of the explanation, such as structural consistency and temporal continuity, we augment our approach with contrastive learning techniques to provide priori-guided regularization. To model longer-term temporal dependencies, we develop a buffer-based live-updating scheme for training. The results of our extensive experiments on various datasets demonstrate the superiority of DyExplainer, not only providing faithful explainability of the model predictions but also significantly improving the model prediction accuracy, as evidenced in the link prediction task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09777v1cs.CV공통 태그 Link Prediction, Contrastive Learning

Time Imprint: 멀티모달 지식 그래프에서 시간 인식 표현 학습

Time Imprint: Learning Time-Aware Representations in Multi-Modal Knowledge Graphs

멀티모달 지식 그래프(Multi-Modal Knowledge Graphs, MMKGs)는 텍스트와 이미지 등 다양한 모달리티로 엔티티를 풍부하게 표현하지만, 멀티모달 특징이 매우 유사한 엔티티는 구별하기 어렵다. 엔티티의 시간 정보는 이러한 엔티티를 disambiguate하는 추가 모달리티로 활용될 수 있으나, 두 가지 주요 과제로 인해 기존 접근법들은 시간을 텍스트·이미지와 동등한 별도의 모달리티로 다루는 경우가 드물다: (1) 희소한 시간적 의미론(sparse temporal semantics)은 더 풍부한 모달리티와의 정렬을 방해하며, (2) 다중 타임스탬프는 표현 학습(representation learning)에 노이즈를 유발하거나 견고성을 저하시킨다. 이러한 과제를 해결하기 위해 우리는 Time Imprint를 제안한다. 이는 시간을 엔티티 수준의 모달리티로 취급하고, 세 가지 관점의 대조 목적함수(three-view contrastive objective)를 통해 시간적·텍스트적·시각적 표현을 공동으로 정렬하는 프레임워크이다. 또한 다중 타임스탬프의 모호성을 완화하기 위해, Time Imprint는 컴팩트한 타임스탬프 부분집합 선택 설계 공간을 탐구하고, 선택된 타임스탬프를 어텐션 풀링으로 집계하여 시간적 특수성과 견고성의 균형을 갖춘 판별적 시간 임베딩을 생성한다. 세 가지 MMKG 벤치마크에서의 실험 결과, Time Imprint는 링크 예측(link prediction)에서 최첨단 성능을 달성하며, 전체적으로 Hits@1을 최대 6.07% 향상시키고, 상위 1% 모호성 샘플 부분집합에서는 최대 58%의 성능 향상을 보인다. 또한 다양한 융합 전략과 타임스탬프 가용성·품질에 대한 민감도를 분석하여, 모달리티로서의 시간이 언제, 왜 가장 유익한지를 규명하며, 학습 오버헤드는 소폭만 증가시킨다. 코드는 https://anonymous.4open.science/r/Time-Imprint 에서 공개한다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.