SiGMA: 게이트 메시지 패싱과 어텐션을 이용한 그래프 수준 이질성 하의 학습
SiGMA: Learning under Graph-Level Heterogeneity with Gated Message-Passing and Attention
그래프 수준 학습에서 그래프 신경망은 일반적으로 고정된 계산 템플릿으로 적용되어, 모든 입력 그래프에 동일한 깊이, 국소 메시지 패싱 연산자, 전역 어텐션 메커니즘이 사용된다. 그러나 같은 데이터셋 내의 서로 다른 그래프는 예측 난이도가 크게 다를 수 있으며, 국소 계산과 비국소 계산의 서로 다른 조합을 필요로 할 수 있다. 우리는 이 현상을 분류와 회귀 과제 모두에서 그래프 수준 이질성으로 연구한다. 이를 해결하기 위해 각 계층 내에서 메시지 패싱 헤드와 어텐션 헤드를 결합하는 게이트 하이브리드 그래프 신경망 아키텍처인 SiGMA(Sigmoid Gated Message-Passing and Attention)를 제안한다. 대규모 언어 모델과 비전 트랜스포머에서 게이트 어텐션과 게이트 계산의 활용이 늘어나는 데 영감을 받아, SiGMA의 각 헤드는 학습된 노드별 시그모이드 게이트로 조절되며, 이를 통해 모델은 노드, 계층, 입력 그래프에 따라 어떤 국소 또는 전역 메커니즘을 활성화할지 적응적으로 조절할 수 있다. 그 결과 아키텍처는 표현력 있는 메시지 패싱 백본을 모사할 수 있고, 과평활화를 강제하지 않는 준항등 계산 경로를 허용하며, 메시지 패싱 이웃을 넘어서는 직접적인 비국소 통신을 가능하게 하여 과압축을 완화한다. 실험적으로 SiGMA는 그래프 수준 벤치마크 전반에서 강력한 성능을 달성하며, 경쟁력 있는 그래프 트랜스포머 및 하이브리드 기준선과 일관되게 대등하거나 더 우수하다. 우리의 결과는 계산을 그래프 수준 이질성에 맞추는 것이 더 유연하고 효과적인 그래프 학습 아키텍처를 구축하기 위한 유망한 방향임을 시사한다.