ReDiSC: 구조적 예측을 통한 확장 가능한 노드 분류를 위한 재매개변수화된 마스크 확산 모델
ReDiSC: A Reparameterized Masked Diffusion Model for Scalable Node Classification with Structured Predictions
한국어 초록
최근 그래프 신경망(GNN)은 노드 분류(node classification) 작업에서 전례 없는 성공을 거두었습니다. GNN은 본질적으로 특정 귀납적 편향(inductive bias, 예: 저주파 또는 고주파 필터 역할)을 인코딩하지만, 대부분의 기존 방법은 최적화 목표에서 노드 레이블 간의 조건부 독립성을 암묵적으로 가정합니다. 이러한 가정은 이미지 인식과 같은 전통적인 분류 작업에는 적합하지만, 그래프 구조를 조건부로 부여한 후에도 노드 레이블 간의 상관관계가 유지된다는 직관적인 관찰과 모순됩니다. 노드 레이블에 대한 구조적 예측을 수행하기 위해, 본 논문에서는 구조화된 노드 분류를 위한 재매개변수화된 마스크 확산 모델인 ReDiSC(Reparameterized masked Diffusion model for Structured node Classification)를 제안합니다. ReDiSC는 변분 기댓값 최대화(EM) 프레임워크를 통해 학습되는 재매개변수화된 마스크 확산(diffusion) 모델을 사용하여 노드 레이블의 결합 분포를 추정합니다. 이론적 분석에 따르면, ReDiSC는 연속 영역의 다양체 제약 확산 모델에 의존하는 최신 모델인 DPM-SNC와 비교하여 E-step에서 효율성 이점을 보입니다. 아울러 ReDiSC의 M-step 목표를 널리 사용되는 GNN 및 레이블 전파(label propagation) 하이브리드 접근법과 명시적으로 연결합니다. 광범위한 실험을 통해 ReDiSC가 다양한 크기의 동종성(homophilic) 및 이종성(heterophilic) 그래프 모두에서 최신 GNN, 레이블 전파 및 확산 기반 베이스라인과 비교하여 우수하거나 경쟁력 높은 성능을 달성함을 입증합니다. 특히 ReDiSC는 계산 제약으로 인해 기존의 구조화된 확산 방법들이 실패했던 대규모 데이터셋에서도 효과적으로 확장(scaling)되어, 구조화된 노드 분류 작업에서의 실질적인 강점을 보여줍니다.
원문 초록
In recent years, graph neural networks (GNN) have achieved unprecedented successes in node classification tasks. Although GNNs inherently encode specific inductive biases (e.g., acting as low-pass or high-pass filters), most existing methods implicitly assume conditional independence among node labels in their optimization objectives. While this assumption is suitable for traditional classification tasks such as image recognition, it contradicts the intuitive observation that node labels in graphs remain correlated, even after conditioning on the graph structure. To make structured predictions for node labels, we propose ReDiSC, namely, Reparameterized masked Diffusion model for Structured node Classification. ReDiSC estimates the joint distribution of node labels using a reparameterized masked diffusion model, which is learned through the variational expectation-maximization (EM) framework. Our theoretical analysis shows the efficiency advantage of ReDiSC in the E-step compared to DPM-SNC, a state-of-the-art model that relies on a manifold-constrained diffusion model in continuous domain. Meanwhile, we explicitly link ReDiSC's M-step objective to popular GNN and label propagation hybrid approaches. Extensive experiments demonstrate that ReDiSC achieves superior or highly competitive performance compared to state-of-the-art GNN, label propagation, and diffusion-based baselines across both homophilic and heterophilic graphs of varying sizes. Notably, ReDiSC scales effectively to large-scale datasets on which previous structured diffusion methods fail due to computational constraints, highlighting its significant practical advantage in structured node classification tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2507.14484v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.