data61.csiro.aujiaojiao.jiang

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.10520v2cs.LG

그래프 기하학 증류: GNN에서 MLP로의 지식 격차

Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs

GNN-to-MLP 증류는 메시지 전달 방식 교사 모델의 예측 정확도를 유지하면서 추론 시에는 그래프가 필요 없는 MLP를 배포하는 것을 목표로 한다. 기존 방법은 주로 노드별 예측을 전달하거나 신뢰도 기반 재가중을 사용하지만, 학생 모델이 교사의 그래프 유도 기하를 어디에서 보존해야 하는지는 명시하지 않는다. 본 연구는 이러한 누락이 학생 표현 공간에서 두 가지 스펙트럼 실패 양상을 초래함을 보인다. 희소 그래프에서 학생은 집계에 의해 유도된 교사의 고에너지 방향을 놓치는 스펙트럼 과소적합을 겪는다. 밀집 그래프에서는 교사가 집계를 통해 붕괴시킨 허위 방향을 유지하는 스펙트럼 과적합을 겪는다. 에너지 가중 교사-학생 정렬 목적 함수에 착안하여, Ollivier-Ricci 곡률로 안내되는 학습 시점 증류 프레임워크인 Graph Geometry-aware MLP (G^2MLP)를 제안한다. 곡률은 예측 수준 정렬과 표현 수준 정렬 사이에 지도 신호를 배분하기 위한 국소적 대리 지표로 작용한다. 배포되는 모델은 추론 시 그래프 접근이 없는 표준 MLP이다. 노드 분류 벤치마크 전반에서 G^2MLP는 대부분의 설정에서 그래프 없는 증류 기준선을 능가하고, 두 영역 모두에서 교사-학생 랭크 격차를 줄이며, Graph Transformer 교사와 링크 예측으로도 전이된다.