arXiv:2607.26404v2 cs.LG

메시지 패싱은 얼마나 중요한가? 신경망 그래프 회귀를 위한 GNN 층의 드롭인 연구

How Much Does Message Passing Matter? A Drop-In Study of GNN Layers for Neural Network Graph Regression

Keith G. Mills, Aedan J. DeFrates, Joong Ho Kim

제출 2026-07-29

저자 비고

arXiv Comments

20 pages, 8 figures, 25 tables

한국어 초록

그래프 신경망(GNN)은 신경망 구조의 정확도를 예측하는 등 회귀 모델로서 널리 사용됩니다. 그러나 새로운 메시지 패싱(MP) 층들은 거의 독점적으로 분류(classification) 태스크를 중심으로 개발 및 벤치마킹되고 있으며, 회귀 파이프라인은 일반적으로 어블레이션 없이 단일 MP 층을 채택합니다. 본 연구에서는 그래프 수준의 회귀에서 MP 층의 선택이 얼마나 중요한지 묻습니다. 기존 4가지 GNN 회귀 모델의 아키텍처, 손실(loss), 학습(training) 방식을 고정한 채, 합성곱(convolutional), 동형성(isomorphism) 기반, 어텐션(attention) 기반 설계를 포괄하는 10가지 MP 구성을 대체 적용합니다. 그래프당 10개 미만에서 1,000개 이상의 노드, 수백 개에서 40만 개 이상의 샘플에 이르는 신경망 그래프의 11개 데이터셋에서 이를 평가하며, 순위 상관관계, 예측 오차, 상위 $k$개(top-$k$) 검색, 지연 시간 및 메모리를 측정합니다. MP 선택은 결과를 실질적으로 변화시키며, 최선의 선택은 그래프 크기, 학습 세트 크기 및 회귀 목표에 따라 달라짐을 발견했습니다. GEN, $k$-GNN, PNA와 같은 전통적인 층들은 더 낮은 비용으로 작은 아키텍처 그래프에서 어텐션 기반 층과 비슷하거나 뛰어난 성능을 보이는 반면, GATv2는 소수의 대형 그래프로 구성된 데이터셋에서 우수한 성능을 보입니다.

원문 초록

Graph Neural Networks (GNNs) are widely used as regressors, for example to predict the accuracy of a neural architecture. Yet new message-passing (MP) layers are developed and benchmarked almost exclusively on classification tasks, and regression pipelines typically adopt a single MP layer without ablation. We ask how much the choice of MP layer matters for graph-level regression. Holding the architecture, loss and training recipe of four existing GNN regressors fixed, we substitute ten MP configurations spanning convolutional, isomorphism-based and attention-based designs. We evaluate them on eleven datasets of neural-network graphs that range from under ten to over a thousand nodes per graph and from a few hundred to over four hundred thousand samples, measuring rank correlation, prediction error, top-$k$ retrieval, latency and memory. MP choice changes results substantially, and we find that the best choice depends on graph size, training-set size and regression objective. Classical layers such as GEN, $k$-GNN and PNA match or exceed attention-based layers on small architecture graphs at lower cost, while GATv2 performs well on datasets with few large graphs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.26404v2
  2. arXiv:2607.26404v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.02709v2cs.LG공통 태그 Graph Neural Network, Graph Learning, message passing

오버스쿼싱 탈출: 메시지 패싱 네트워크를 위한 주소 지정 가능하고 지지 인식형 전역 메모리

Escaping Oversquashing: Addressable and Support-Aware Global Memory for Message Passing Networks

가상 노드(virtual node)는 오버스쿼싱(oversquashing)에 대응하는 자연스러운 수단으로, 긴 메시지 패싱 경로를 2-홉(two-hop) 전역 경로로 대체한다. 그러나 많은 노드가 하나의 전역 상태를 공유할 때, 이 지름길은 그 자체로 병목이 될 수 있다. 본 연구에서는 이러한 전역 메모리의 두 가지 속성을 다룬다. 첫째, 주소 지정 가능성(addressability)이다: 상수 마진(margin) 주소 코드와 이 마진을 증폭시키는 비선형성 하에서, 곱셈적 쓰기/읽기 맵은 $O(\log M)$ 차원의 주소 코드만으로 $M$개의 선택 가능한 메모리 행을 제공한다. 크로스 어텐션(cross-attention) 슬롯과 제약된 $ELU+1$ 쌍선형(bilinear) 메모리 모두 이 조건을 만족한다. 둘째, 지지 인식(support awareness)이다: 정규화된 크로스 어텐션에는 잠재 쿼리(latent query)가 참조로 사용할 수 있는 자기 키(self-key)가 없다. 학습된 전용 앵커(private anchor)가 이 참조를 제공하여 읽기 값을 유계로 유지하고, 매칭된 소스 질량(source mass)의 강도를 드러낸다. 우리는 Two-Radius와 Tree-NeighborsMatch의 여러 인스턴스에서 이러한 속성들의 장점을 입증한다: 두 가지 주소 지정 가능한 구현 모두 깊이 $5$까지 제어된 과제들을 해결하는 반면, 비슷하거나 더 큰 크기의 풀링된 VN은 약 $10.6\%$에 도달한다.

arXiv:2607.21607v1cs.AI공통 태그 Graph Neural Network, Graph Learning, message passing

그래프 신경망의 깊이 인식 장거리 전파를 위한 스펙트럴 플로우 인증

Spectral Flow Certificates for Depth-Aware Long-Range Propagation in Graph Neural Networks

그래프 신경망(GNN)은 지역적 메시지 전달(message passing)을 통해 정보를 전파하지만, 그래프 위상(topology) 자체가 학습을 아무리 많이 해도 장거리(long-range) 과제를 해결하지 못하게 조용히 막을 수 있다. GNN을 새로운 그래프에 배포할 때, 현재는 학습이 시작되기 전에 그래프 구조가 먼 노드들 사이에서 정보가 충분히 멀리 전달될 수 있게 허용하는지를 알아낼 저비용 방법이 없다. 우리는 스펙트럴 플로우 인증(Spectral Flow Certificates, SFC)을 제안하여 이 공백을 해소한다. SFC는 그래프의 정규화(normalised) 라플라시안(Laplacian)으로부터 수 초 만에 계산되는 단일 스칼라 값으로, 모델 학습이나 라벨 데이터가 필요하지 않다. SFC는 그래프의 대수적 연결성(algebraic connectivity)과 선택된 메시지 전달 깊이(depth)를 하나의 숫자로 융합하여, 가용한 깊이 예산(depth budget) 내에서 중요한 스펙트럴 병목(spectral bottleneck)의 어느 정도를 통과할 수 있는지를 측정한다. 원시 스펙트럴 갭(spectral gap)과 달리 SFC는 정적이고 깊이와 무관(depth-agnostic)한 반면, SFC는 레이어 수가 증가함에 따라 적응하므로 깊이가 달라질 때 엄격히 더 많은 진단 정보를 담는다. 평균 유효 저항(average effective resistance)과 그래프 직경(graph diameter) 같은 고전적 구조 통계와 비교했을 때, SFC는 학습된 GNN의 장거리 정확도(long-range accuracy) 분산(variance)의 두 배 이상을 설명한다. 경로(path), 순환(cycle), 격자(grid), 정규 그래프(regular graph), 무작위 그래프(random graph)를 아우르는 25개의 합성 그래프 계열에 걸쳐, SFC는 어떤 기울기(gradient)도 계산하기 전에 학습된 정확도를 예측하며, 테스트된 모든 깊이에서 90% 이상의 설명력(explanatory power)을 달성한다. 동일한 예측 관계는 세 개의 독립적인 벤치마크(benchmark) 데이터셋(dataset)에서 추출한 150개의 실제 분자 그래프 위상에서도 성립하며, 이는 해당 결과가 합성 구조의 인공물(artefact)이 아님을 확인해 준다. 종합하면, 이러한 결과는 단일 고유값(eigenvalue) 계산만으로도 값비싼 학습 파이프라인에 투입하기 전에 위상(topology)에 의해 제한된 그래프를 표시하기에 충분하며, GNN 배포를 위한 원칙적인 1차 필터를 제공함을 보여준다.

arXiv:2609.25722v3cs.LG공통 태그 Graph Neural Network, Graph Learning

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

arXiv:2610.13635v1cs.LG공통 태그 Graph Neural Network, message passing

PANDA: 사전 지식 기반 어텐션 이중 경로 아키텍처

PANDA: Prior-guided Attentional Dual-path Architecture

쌍별 상호작용(pairwise interaction)을 넘어 고차 관계(higher-order relation)를 모델링하기 위해 설계된 하이퍼그래프 신경망(Hypergraph Neural Network, HNN)은 일반적으로 고정된 구조적 가중치 또는 정규화된 어텐션에 의존한다. 고정 가중치는 이질적(heterophilic) 환경에서 잘못된 정보를 전파할 수 있으며, 정규화는 메시지 전달(message-passing) 프레임워크에서 하나의 송신자(sender)의 가중치를 높이면 동일한 집계 집합(aggregation set) 내 다른 송신자들의 가중치를 반드시 낮춰야 한다는 의미에서 어텐션 계수를 경쟁적으로 만든다. 본 연구의 주요 기여는 무방향 및 방향 설정 모두에 적용 가능한 2단계 메시지 전달 HNN을 위한 플러그인인 PANDA(Prior-guided AttentioNal Dual-path Architecture, 사전 지식 기반 어텐션 이중 경로 아키텍처)의 도입이다. 메인 경로(main path)는 학습된 수신자 정규화 어텐션과 구조적 인시던스(incidence) 사전 지식(prior) 사이를 보간(interpolate)하며, 비경쟁적인(정규화되지 않은) 보조 경로(auxiliary path)는 각 송신자가 자신만의 변환된 정보를 기여할 수 있도록 한다. 또한 고정된 구조적 계수를 사용할 경우, PANDA가 이전 연구들에서 채택된 특정 복소수 값 합성곱 연산자를 복원함을 보인다. 방향 및 무방향 설정에서 공간적(spatial) 및 스펙트럴(spectral) 방법을 포괄하는 네 가지 HNN에 걸쳐, PANDA를 적용하면 8개의 실세계 벤치마크 데이터셋에서 평균 5.18퍼센트포인트의 성능 향상을 얻는다. 코드는 https://github.com/jainris/panda 에서 확인할 수 있다.

arXiv:2610.13689v1cs.LG공통 태그 Graph Neural Network, Graph Learning

VQIL: 그래프 상의 섭동 반응 순위화를 위한 가시적 양자 간섭 학습

VQIL: Visible Quantum Interference Learning for Perturbation Response Ranking on Graphs

국소적 섭동(perturbation)이 네트워크에 미치는 영향을 학습하는 것은 시스템의 반응을 유발하거나 흡수하는 구성 요소를 식별하는 데 중요합니다. 본 연구에서는 이를 시드 조건부 반응 순위화(seed-conditioned response ranking) 문제로 정의합니다. 즉, 하나의 시드 노드(node)에서 섭동이 발생했을 때 다른 모든 노드를 반응 강도에 따라 순위화하는 것입니다. 이는 모델(model)에 상호작용 토폴로지만 주어지고 섭동이 전파되는 방식을 지배하는 메커니즘을 데이터로부터 학습해야 할 때 특히 어렵습니다. 본 논문에서는 시드 조건부 순위화를 위한 학습 가능한 세게디 양자 워크(Szegedy quantum walk)인 VQIL(Visible Quantum Interference Learning)을 제안합니다. 워크 연산자가 학습(training) 전반에 걸쳐 유니터리(unitary) 상태를 유지하는 동안, 에지 가중치, 링크 위상, 노드별 위상 회전이 역전파(backpropagation)를 통해 엔드투엔드로 최적화됩니다. 노드 점수는 양자 워크 진폭의 기하학적 감쇠 코히런트 합(coherent sum)에서 얻어지며, 이를 통해 최종 제곱 노름(squared-norm) 판독 전에 양자 간섭이 가능해집니다. 학습된 각 매개변수(parameter)는 명명된 에지 또는 노드에 연결되어 있으므로, 학습된 모델은 전파 메커니즘에서 개별 그래프 구성 요소의 역할에 대해 직접 검사 가능한 가설을 제공합니다. 전기적 매개변수를 모델에 제공하지 않은 6개 송전망에 대한 교류 조류(AC power-flow) 섭동 실험에서, VQIL은 스피어만 순위 상관계수를 학습되지 않은 워크의 0.147에서 0.831로 향상시켰으며 동일하게 학습된 무작위 워크 모델의 성능을 능가했습니다. Perturb-seq 지도 신호가 있는 5개 단백질-단백질 상호작용 네트워크에 대한 유전자 섭동 실험에서 VQIL은 순위 상관계수를 0.171에서 0.620으로 향상시켜 가장 강력한 고전적 및 신경망 기반 학습 베이스라인들을 능가했습니다. 이러한 결과는 학습 가능한 양자 워크 간섭이 그래프 상에서 시드 조건부 반응 순위를 학습하기 위한 확장 가능하고 해석 가능한 귀납적 바이어스(inductive bias)를 제공함을 보여줍니다.

arXiv:2610.13724v1cs.LG공통 태그 Graph Neural Network, message passing

그래프 신경망을 활용한 상각 반사실적 예측

Amortized Counterfactual Prediction with Graph Neural Networks

반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.