K-Hop 가우시안 확산을 이용한 향상된 그래프 신경망
Enhanced Graph Neural Networks using K-Hop Gaussian Diffusion
한국어 초록
대부분의 그래프 신경망(GNN) 핵심은 그래프 컨볼루션에 의존하며, 이는 주로 직접(단일 홉) 이웃 간의 메시지 전달(message passing) 방식으로 구현됩니다. 많은 실제 그래프에서 엣지는 노이즈가 많거나 명확하게 정의되지 않아 정보 전파가 국소적 이웃(local neighborhoods)으로 제한됩니다. 개인화된 페이지랭크(PPR) 및 히트 커널(Heat Kernel)과 같은 기존 확산 커널(kernel)은 전역 전파를 통해 이 문제를 완화하지만, 여전히 복잡한 국소 구조와 먼 노드(node)의 노이즈에는 취약합니다. 이러한 한계를 해결하기 위해, 우리는 그래프 데이터의 전처리 모듈로서 K-Hop 가우시안(KHG) 확산 커널을 제안합니다. KHG는 원격 노드에 대해 가우시안 가중치를 적용하는 멀티 홉(multi-hop) 확산을 도입하여, 표준 GNN을 적용하기 전에 국소적 및 전역적 정보 전파의 균형을 맞춥니다. 여러 벤치마크 데이터셋(benchmark datasets)에 대한 실험 결과, KHG는 기존 메시지 전달(message-passing) GNN뿐만 아니라 PPR 및 히트 커널 확산 방식보다 특히 노이즈가 많거나 구조적으로 복잡한 그래프에서 유의미하게 우수한 성능을 보임을 입증했습니다.
원문 초록
Most graph neural network (GNN) cores rely on graph convolutions, typically implemented as message passing between direct (single-hop) neighbors. In many real-world graphs, edges can be noisy or poorly defined, limiting information propagation to local neighborhoods. Existing diffusion kernels, such as Personalized PageRank (PPR) and Heat Kernel, alleviate this issue through global propagation, but still struggle with complex local structures and distant node noise. To address these limitations, we propose a K-Hop Gaussian (KHG) diffusion kernel as a preprocessing module for graph data. KHG introduces multi-hop diffusion with Gaussian weighting for remote nodes, balancing local and global information propagation before applying standard GNNs. Experiments on multiple benchmark datasets demonstrate that KHG significantly outperforms traditional message-passing GNNs, as well as PPR and Heat Kernel diffusion, particularly in noisy or structurally complex graphs.
요약
노이즈가 많거나 구조가 복잡한 그래프에서 단일 홉 메시지 전달과 기존 확산 커널(PPR, Heat Kernel)의 한계를 줄이기 위해, 원격 노드에 가우시안 가중치를 적용한 멀티 홉 확산 K-Hop 가우시안(KHG) 커널을 그래프 전처리 모듈로 제안한다. 표준 GNN 적용 전 국소·전역 정보 전파의 균형을 맞추며, 여러 벤치마크 데이터셋에서 메시지 전달 GNN과 PPR·Heat 확산보다 특히 노이즈·복잡 구조 그래프에서 유의미하게 우수한 성능을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18317v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지식 그래프와 그래프 신경망의 만남: 종합 서베이
Knowledge Graphs Meet Graph Neural Networks: A Comprehensive Survey
그래프 신경망(GNN)은 그래프 구조 데이터를 모델링하는 고유한 능력으로 인해 지식 그래프(KG) 분야에서 강력한 패러다임으로 부상하였다. 그러나 지식 그래프 기술 파이프라인 전반에 걸친 GNN 기반 방법론에 대한 체계적인 리뷰는 아직 부족한 실정이다. 이러한 공백을 해소하기 위해, 본 논문에서는 GNN 기반 지식 그래프 기술에 대한 새로운 2단계 분류 체계를 제안한다: KG 기술 파이프라인 관점과 GNN 기반 관점이 그것이다. 구체적으로, 지식 그래프 기술 파이프라인은 지식 그래프 구축, 지식 그래프 임베딩, 지식 추론, 지식 그래프 응용을 포함한다. 한편, GNN 기반 관점은 GCN, GAT, HGNN 등의 GNN 모델을 활용하여 지식 그래프 기술을 새롭게 범주화한다. 이어서 지식 그래프 생애주기 내 다양한 태스크의 특성에 기반하여 GNN 기술의 이점을 분석한다. 나아가 제안된 분류 체계에 따라 지식 그래프를 위한 다양한 GNN 기반 모델을 상세히 검토하고, 각각의 강점과 한계를 정리한다. 마지막으로, 아직 해결되지 않은 과제들을 논의하고 향후 연구를 위한 유망한 방향을 제시한다.
CA-DGCL: Dynamic Graph Continual Learning via Condensation and Attachment
엣지 독립성이 실패할 때: 잠재 사회성 사전분포를 이용한 결합 그래프 디퓨전
When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors
이산 그래프 디퓨전 모델은 마르코프 노이즈 모델을 사용한 독립적인 엣지(edge) 업데이트를 통해 그래프 구조를 손상시킨다. 출력 분포에 대한 교환가능성(exchangeability) 요구 조건과 결합되면, 터미널 사전분포(prior)는 필연적으로 에르되시-레니(Erdős–Rényi, E-R) 랜덤 그래프가 된다. 이는 노드 특징(feature) 없는 비조건부 그래프 생성에 근본적인 결과를 초래한다: 큰 그래프의 극한에서, E-R 그래프에 적용된 모든 GNN 디노이저(denoiser)는 대략적으로 E-R 그래프를 출력하여, 효과적인 디노이징(denoising)을 어렵게 만든다. 실제로, 생성된 그래프는 의미 있는 노드 이질성(heterogeneity)과 고차 구조(higher-order structure)를 복원하지 못한다. 이전 모델들은 이를 보완하기 위해 전문화된 노드 특징을 도입했으며, 이를 표현력(expressivity) 문제로 간주했지만, 사전분포의 역할은 검토되지 않은 채로 남아 있었다. 우리는 대신 잠재 사회성 사전분포(Latent Sociability Prior, LSP)와, 잠재 노드 사회성(sociability) 변수와 그래프 구조를 함께 진화시키는 결합(joint) 디퓨전 프로세스를 도입하여 근본 원인을 해결하며, 교환가능성을 유지하면서 엣지 독립성을 제거한다. 기존의 잠재 그래프 디퓨전 방법들과 달리, 사회성 메커니즘은 복잡한 인코더(encoder)를 필요로 하지 않는다: 그 유일한 역할은 엣지 업데이트를 안내하고 궤적(trajectory) 전체에서 노드 이질성을 보존하는 것이다. 우리는 여러 그래프 생성 데이터셋에서 접근법을 검증하고, 제안된 프레임워크가 노드 특징이 없는 기준선(baseline) 방법들보다 그래프 분포를 더 정확하게 포착함을 보인다.
QUARTET: 관계 그래프에서 트랜스포머를 강화하기 위한 4분기 교차 어텐션과 랜덤 워크 트레이스
QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
관계 심층 학습(RDL)은 다중 테이블 데이터베이스를 이종 시간 그래프로 모델링하며, 그래프 트랜스포머는 RelBench와 같은 벤치마크에서 현재 최첨단 성능을 달성한다. 그러나 현재 선두 모델인 RelGT는 두 가지 핵심 한계가 있다. 무작위 로컬 샘플러가 느슨하게 연결된 부분 그래프를 만들어 메시지 전달을 방해하고, 전역 어텐션 모듈이 단일한 시드 특징 기반 메모리에만 의존해 더 넓은 거시적 수준의 역학을 놓친다. 이 한계를 극복하기 위해, 로컬 부분 그래프에 전체 셀프 어텐션을 적용하고 교차 어텐션 분기로 전역 문맥을 풍부히 하는 표현력 있는 그래프 트랜스포머 아키텍처 QUARTET을 제안한다. 구체적으로 QUARTET은 최근성 절단 개인화 PageRank(PPR)에 기반한 인과적 랜덤 워크(CRW) 샘플러로, 시간적 누출 없이 간결하고 허브-강건하며 밀집 연결된 로컬 부분 그래프를 추출한다. 동시에 4분기 교차 어텐션 모듈은 시드 특징, 시드 위상, 시간적 역학, 협력적 역학이라는 네 가지 상보적 관점에서 전역 문맥을 통합한다. RelBench v1 분류 과제 전반에서 QUARTET은 현재 최첨단 그래프 트랜스포머 기준선(HGT 및 RelGT)과 지속적으로 동등하거나 더 나은 성능을 보인다. 절제 연구는 CRW 샘플러가 로컬 이웃 품질을 크게 향상시키고, 전역 분기가 과제별로 필수적인 예측 이득을 제공함을 확인한다.
학습된 GNN에서의 지역적 증거 및 기하학적 리드아웃 복구
Local Evidence and Geometric Readout Repair in Trained GNNs
많은 노드(node) 분류(classification) GNN은 로컬 메시지의 비음수 혼합에 선형 분류기를 적용합니다. 오류는 부적절한 혼합 가중치를 반영하거나, 도달 가능한 로짓(logit) 집합이 분류기에 적합하지 않게 배치되었음을 나타낼 수 있습니다. 본 연구에서는 정확한 질량(exact-mass) 선형 계획법과 두 가지 학습된 사후(post-hoc) 복구를 통해 이러한 원인들을 분리합니다. 모든 재가중치화(reweighting)된 예측은 동등한 중심화된 로짓 평행이동(translation)을 가지지만, 메시지로 유도된 변위 집합 내의 평행이동만이 재가중치화를 통해 실현 가능합니다. 8개의 데이터셋(dataset), 8개의 GNN 백본, 10개의 분할에 걸쳐 동결된 모델의 평균 정확도는 62.6%에서 재가중치화 적용 시 63.8%, 집합 조건부 평행이동 적용 시 65.3%로 상승합니다. 매개변수(parameter)가 일치된 노드 전용 평행이동기는 64.6%에 도달하여, 평행이동이 성능 향상의 대부분을 설명하는 반면 메시지 집합은 더 작은 추가적 이점을 제공함을 보여줍니다. 오라클(oracle) 재가중치화는 많은 오류를 수정할 수 있지만, 라벨 없는(label-free) 재가중치화는 이러한 잠재력을 거의 활용하지 못합니다. 즉, 로컬 증거는 종종 존재하지만 선택하기 어려우며, 증거 제약을 완화하는 것이 해당 제약 내에서 학습하는 것보다 더 효과적입니다.
저항 곡률 기반 확장 가능한 서브그래프 샘플링
Scalable Subgraph Sampling via Resistance Curvature
서브그래프 샘플링은 대규모 그래프 신경망(GNN)의 학습 비용을 줄이지만, 샘플링 기준은 엣지의 기하학적 역할을 간과할 수 있다. 우리는 대규모 그래프용 곡률 근사 방법인 ERC-LG 위에 구축한 저항 곡률(resistance curvature) 유도 샘플링 프레임워크를 제안한다. ERC-LG는 Johnson-Lindenstrauss 투영과 정규화된 다중 GPU 배치 공액 그래디언트(conjugate gradient) 솔버를 결합하여, 명시적인 라플라시안 의사역행렬(pseudoinverse) 계산과 전체 임베딩 저장을 피한다. 이렇게 얻은 곡률은 GNN 학습 서브그래프를 구성하기 위한 노드 및 엣지 샘플링 확률을 결정하는 데 활용된다. 실험 결과, 의사역행렬 기반 곡률과 수치적으로 일치하며 CG만 사용한 계산 대비 실행 시간이 감소한다. ERC-LG 기반 샘플링 변형은 다운스트림 노드 분류에서 7개 실세계 데이터셋 중 6개에서 최고 평균 정확도를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.