TAG-DLM은 마스크 확산 언어 모델(MDLM) 내에서 텍스트 추론과 그래프 메시지 패싱을 통합하는 프레임워크로, 별도의 GNN 모듈 없이 토폴로지 어텐션 마스크만으로 그래프 구조를 주입한다. 세 가지 TAG 벤치마크에서 노드 분류 및 링크 예측 태스크 모두 기존 GNN, 그래프 트랜스포머, LLM 기반 기준선을 최대 3.9포인트 차이로 능가하며, 타깃별 파인튜닝 없이 교차 데이터셋 전이도 지원한다.
텍스트 속성 그래프(Text-Attributed Graph, TAG)는 텍스트 의미론과 그래프 구조를 결합하여 다양한 그래프 학습 과제의 핵심을 이룬다. 그러나 기존의 융합 방법들은 텍스트와 구조를 얕고 단방향적인 파이프라인에서 별개의 입력으로 처리하는 경우가 많아, 모달리티 간 심층적 상호작용이 제한되고 희소 연결성 또는 크로스 그래프 일반화 상황에서 성능이 저하된다. 이러한 문제를 해결하기 위해 우리는 GNN-LLM 협력 학습을 위한 양방향 구조-의미 융합 프레임워크인 PromptGNN-sim을 제안한다. PromptGNN-sim은 구조적 어텐션과 텍스트 유사도를 결합하여 의미론적으로 인식 가능한 이웃 선택을 수행하는 그래프 어텐션 네트워크(Graph Attention Network, GAT)를 활용한다. 선택된 구조적 컨텍스트는 대상 노드 요약, 레이블 카테고리, 유사 이웃의 대표 키워드를 포함하는 구조 인식 프롬프트를 LLM에 생성하는 데 사용된다. 학습 과정에서는 양방향 크로스 모달 대조 학습과 크로스 어텐션을 도입하여 GNN과 LLM 구성 요소를 공동으로 최적화한다. Cora, Pubmed, WikiCS를 포함한 6개의 공개 데이터셋에서 크로스 태스크 전이, 크로스 데이터셋 일반화, 희소 교란 조건 하에 정확도, 일반화 능력, 강건성을 평가하는 실험을 수행하였다. 실험 결과, PromptGNN-sim은 고전적인 GNN, LLM, 최근의 GNN-LLM 융합 방법들을 능가하며, 텍스트 속성 그래프 학습에서 상호작용적 구조-의미 협력의 효과를 입증하였다.