원문 초록
Transformers have become general-purpose architectures, but their all-to-all self-attention is poorly matched to graph data, whose interactions are sparse, structured and multi-scale. Existing Graph Transformers address this mismatch through structural encodings, hybrid message-passing modules or learned attention constraints, often introducing additional complexity and limited interpretability. Here we introduce X-LogSMask, an explainable multi-head logarithmic structural mask that injects symmetrically normalized graph topology directly into attention logits. The logarithmic transform converts structural connectivity into a topology-aware gating signal, suppressing unsupported node interactions while preserving feature-dependent attention. By assigning different powers of the normalized adjacency matrix to different attention heads, X-LogSMask gives each head a defined structural radius and supports multi-hop information propagation within a single layer. We further show that a standard Transformer encoder can be interpreted as one-step message passing on a complete graph, motivating X-LogSMask as a topology-constrained alternative to unrestricted self-attention. Across 20 node-, edge- and graph-level benchmarks, Transformers equipped with X-LogSMask achieve state-of-the-art performance on 13 datasets and remain competitive in a lightweight one-layer configuration. These results show that simple, interpretable structural masks can make self-attention an effective graph-learning operator without changing the Transformer architecture. The code is available at https://github.com/LiLeyan-0120/X-LogSMask.
요약
그래프 데이터의 희소하고 구조적인 상호작용에 맞지 않는 Transformer의 전방위 셀프어텐션(self-attention) 문제를 해결하기 위해, 대칭 정규화된 인접 행렬의 로그 변환값을 어텐션 로짓(attention logit)에 직접 주입하는 설명 가능한 다중 헤드 구조적 마스크 X-LogSMask를 제안한다. 각 어텐션 헤드에 인접 행렬의 서로 다른 거듭제곱을 할당해 단일 레이어에서 다중 홉(multi-hop) 정보 전파를 가능하게 하며, 20개 노드·엣지·그래프 수준 벤치마크 중 13개에서 최고 성능을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01553v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지식 그래프와 그래프 신경망의 만남: 종합 서베이
Knowledge Graphs Meet Graph Neural Networks: A Comprehensive Survey
그래프 신경망(GNN)은 그래프 구조 데이터를 모델링하는 고유한 능력으로 인해 지식 그래프(KG) 분야에서 강력한 패러다임으로 부상하였다. 그러나 지식 그래프 기술 파이프라인 전반에 걸친 GNN 기반 방법론에 대한 체계적인 리뷰는 아직 부족한 실정이다. 이러한 공백을 해소하기 위해, 본 논문에서는 GNN 기반 지식 그래프 기술에 대한 새로운 2단계 분류 체계를 제안한다: KG 기술 파이프라인 관점과 GNN 기반 관점이 그것이다. 구체적으로, 지식 그래프 기술 파이프라인은 지식 그래프 구축, 지식 그래프 임베딩, 지식 추론, 지식 그래프 응용을 포함한다. 한편, GNN 기반 관점은 GCN, GAT, HGNN 등의 GNN 모델을 활용하여 지식 그래프 기술을 새롭게 범주화한다. 이어서 지식 그래프 생애주기 내 다양한 태스크의 특성에 기반하여 GNN 기술의 이점을 분석한다. 나아가 제안된 분류 체계에 따라 지식 그래프를 위한 다양한 GNN 기반 모델을 상세히 검토하고, 각각의 강점과 한계를 정리한다. 마지막으로, 아직 해결되지 않은 과제들을 논의하고 향후 연구를 위한 유망한 방향을 제시한다.
동적 그래프의 노드 친화도를 이용한 기관 주식 보유 예측
Institutional Equity Holdings Prediction Using Node Affinities of Dynamic Graphs
SEC Form 13F 제출 자료에 공개된 기관 주식 보유는 대형 투자 운용사의 포트폴리오 결정에 대한 풍부한 시계열 기록을 제공한다. 그러나 공시 지연, 보고 노이즈, 기관 행동의 강한 지속성(persistence) 때문에 미래 배분을 예측하고 미래 수요를 모델링하는 것은 여전히 어렵다. 우리는 시간적 그래프 머신러닝을 사용하여 이러한 작업을 위한 최초의 벤치마크를 도입하며, 전처리된 제출 자료에서 추출한 운용사와 증권의 이산 시간(temporal) 이분 그래프(bipartite graph)에서 보유 예측을 노드 친화도(node affinity) 예측, 즉 포트폴리오 비중 예측으로 정식화한다. 99명의 운용사와 S&P 500 지수(2013--2025년 48분기에 걸친 503개 증권, 209,351개의 시간적 엣지)로 구성된 샘플링된 데이터셋에서, Virtual State를 사용하는 Node Affinity 예측 모델(NAVIS)은 특징(features) 포함 시 최첨단 테스트 Normalized Discounted Cumulative Gain(NDCG) 0.9127(미포함 시 0.9121)을 달성하여, 모든 동적 그래프 표현 학습 경쟁 모델을 상당한 마진으로, 모든 휴리스틱 방법을 능가한다. 주목할 만하게, 단순한 지수 이동 평균(Exponential Moving Average) 기준선이 0.8882를 달성하여 NAVIS를 제외한 모든 동적 그래프 모델과 Persistent Forecast(0.8891)를 제외한 모든 휴리스틱을 능가하며, 이는 기관 포트폴리오의 강한 평활성(smoothness)과 지속성을 부각한다. 도메인 특화 노드 특징은 극히 미미한 향상(<1.2%)만 제공하며, 이는 13F 소유권 그래프의 시간적 및 구조적 신호가 이미 예측 가능한 정보의 대부분을 포착하고 있음을 시사한다. 실제 13F 데이터에 대해 특징 유무 모두에서 노드 친화도 예측 설정 하에 Temporal Graph Benchmark(TGB) 모델 무리를 벤치마킹함으로써, 본 연구는 보유 예측 및 포트폴리오 배분에서 시간적 그래프 머신러닝을 위한 재현 가능한 기반을 제공한다.
CA-DGCL: Dynamic Graph Continual Learning via Condensation and Attachment
QUARTET: 관계 그래프에서 트랜스포머를 강화하기 위한 4분기 교차 어텐션과 랜덤 워크 트레이스
QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
관계 심층 학습(RDL)은 다중 테이블 데이터베이스를 이종 시간 그래프로 모델링하며, 그래프 트랜스포머는 RelBench와 같은 벤치마크에서 현재 최첨단 성능을 달성한다. 그러나 현재 선두 모델인 RelGT는 두 가지 핵심 한계가 있다. 무작위 로컬 샘플러가 느슨하게 연결된 부분 그래프를 만들어 메시지 전달을 방해하고, 전역 어텐션 모듈이 단일한 시드 특징 기반 메모리에만 의존해 더 넓은 거시적 수준의 역학을 놓친다. 이 한계를 극복하기 위해, 로컬 부분 그래프에 전체 셀프 어텐션을 적용하고 교차 어텐션 분기로 전역 문맥을 풍부히 하는 표현력 있는 그래프 트랜스포머 아키텍처 QUARTET을 제안한다. 구체적으로 QUARTET은 최근성 절단 개인화 PageRank(PPR)에 기반한 인과적 랜덤 워크(CRW) 샘플러로, 시간적 누출 없이 간결하고 허브-강건하며 밀집 연결된 로컬 부분 그래프를 추출한다. 동시에 4분기 교차 어텐션 모듈은 시드 특징, 시드 위상, 시간적 역학, 협력적 역학이라는 네 가지 상보적 관점에서 전역 문맥을 통합한다. RelBench v1 분류 과제 전반에서 QUARTET은 현재 최첨단 그래프 트랜스포머 기준선(HGT 및 RelGT)과 지속적으로 동등하거나 더 나은 성능을 보인다. 절제 연구는 CRW 샘플러가 로컬 이웃 품질을 크게 향상시키고, 전역 분기가 과제별로 필수적인 예측 이득을 제공함을 확인한다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
학습된 GNN에서의 지역적 증거 및 기하학적 리드아웃 복구
Local Evidence and Geometric Readout Repair in Trained GNNs
많은 노드(node) 분류(classification) GNN은 로컬 메시지의 비음수 혼합에 선형 분류기를 적용합니다. 오류는 부적절한 혼합 가중치를 반영하거나, 도달 가능한 로짓(logit) 집합이 분류기에 적합하지 않게 배치되었음을 나타낼 수 있습니다. 본 연구에서는 정확한 질량(exact-mass) 선형 계획법과 두 가지 학습된 사후(post-hoc) 복구를 통해 이러한 원인들을 분리합니다. 모든 재가중치화(reweighting)된 예측은 동등한 중심화된 로짓 평행이동(translation)을 가지지만, 메시지로 유도된 변위 집합 내의 평행이동만이 재가중치화를 통해 실현 가능합니다. 8개의 데이터셋(dataset), 8개의 GNN 백본, 10개의 분할에 걸쳐 동결된 모델의 평균 정확도는 62.6%에서 재가중치화 적용 시 63.8%, 집합 조건부 평행이동 적용 시 65.3%로 상승합니다. 매개변수(parameter)가 일치된 노드 전용 평행이동기는 64.6%에 도달하여, 평행이동이 성능 향상의 대부분을 설명하는 반면 메시지 집합은 더 작은 추가적 이점을 제공함을 보여줍니다. 오라클(oracle) 재가중치화는 많은 오류를 수정할 수 있지만, 라벨 없는(label-free) 재가중치화는 이러한 잠재력을 거의 활용하지 못합니다. 즉, 로컬 증거는 종종 존재하지만 선택하기 어려우며, 증거 제약을 완화하는 것이 해당 제약 내에서 학습하는 것보다 더 효과적입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.