최근 대규모 언어 모델(LLM)은 노드(node) 표현에 의미론적 정보를 풍부하게 더함으로써 그래프 신경망(GNN)을 발전시켰고, 이를 통해 상당한 성능 향상을 달성하는 LLM 강화 GNN(LLM-enhanced GNN)이 등장했습니다. 그러나 이러한 의미론적 강화가 프라이버시 위험에 어떤 영향을 미치는지는 여전히 거의 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 본 연구는 (1) 데이터셋 준비, (2) 피해자 모델 학습(training), (3) 프라이버시 공격, (4) 위험 평가, (5) 방어 분석의 5단계로 구성된 통합 프레임워크를 통해 LLM 강화 GNN의 프라이버시 위험을 체계적으로 감사합니다. 구체적으로, 본 평가는 다양한 도메인에 걸친 10개의 텍스트 속성 그래프 데이터셋, 6가지 프라이버시 공격, 42가지 LLM 강화 GNN 구성, 그리고 3개의 최신 언어 모델 백본을 포괄합니다. 광범위한 실험 결과에 따르면, 유용성 향상에도 불구하고 LLM 강화 GNN은 평가된 공격 하에서 다양한 모델과 데이터셋 전반에 걸쳐 얕은 텍스트 표현 베이스라인보다 경험적으로 일관되게 더 큰 프라이버시 취약성을 나타냅니다. 추가 분석을 통해 LLM 강화 표현이 임베딩(embedding) 공간에서 링크, 레이블 및 멤버십 관련 신호를 더 뚜렷하게 구별할 수 있게 하여 추론(inference) 공격에 더 쉽게 악용될 수 있음을 보여줍니다. 마지막으로, 대표적인 방어 기법들을 평가하고 이러한 프라이버시 위험을 완화하는 효과를 검토합니다. 전반적으로 본 연구는 LLM 강화 GNN의 프라이버시 위험에 대한 체계적인 감사를 제공하며, 보다 안전하고 신뢰할 수 있는 그래프 학습 시스템을 개발하기 위한 통찰을 제시합니다.
대규모 언어 모델(LLM)을 그래프 구조 데이터에 적용할 때는 일반적으로 텍스트 노드(node) 속성을 단일 토큰으로 압축한 뒤 GNN으로 추가 처리하는 다단계 파이프라인이 사용되며, 이 과정에서 대부분의 의미론적 내용이 손실됩니다. 본 논문에서는 사전학습된 LLM이 그래프 위상을 기본적으로 처리할 수 있도록 하여 이러한 병목 현상을 완전히 제거하는 그래프 트랜스포머 언어 모델(GTLM)을 소개합니다. GTLM은 기본 모델 대비 구조 관련 파라미터를 0.015%만 추가하면서 그래프 인식 어텐션(attention) 편향을 LLM의 어텐션 모듈에 직접 주입합니다. 학습(training)은 기본 모델의 LoRA 어댑터와 함께 구조 파라미터만을 업데이트합니다. 본 연구는 양방향 어텐션 접두 문맥(prefix)이 노드에 대해 순열 등변(permutation-equivariant)성을 가지며, 그래프가 없을 때는 GTLM이 사전학습된 모델과 정확히 동일하게 축소됨을 증명합니다. 전역적인 노드 순서가 없는 GTLM은 위치에 따른 성능 저하를 보이지 않으며 중간에서 길을 잃는 현상(lost in the middle)도 겪지 않습니다. 동일하게 학습된 일반 텍스트 기준선(baseline)의 성능이 무너지는 반면, needle-in-a-graph 정확도는 1,000토큰에서 64,000토큰까지, 그리고 학습 길이의 4배를 초과해도 안정적으로 유지됩니다. 포괄적인 평가 결과에 따르면, GTLM은 텍스트 속성 그래프 벤치마크, WebQSP 기반 GraphRAG, 분자 벤치마크에서 도메인 특화 SOTA 모델과 동등하거나 그 이상의 성능을 보였으며, GraphQA에서는 강력한 기준선 대비 유의미한 개선을 달성했습니다. 또한 GTLM의 어텐션 헤드가 암묵적으로 메시지 패싱(message passing)을 시뮬레이션하도록 학습됨을 보여주며, 이는 알고리즘 태스크에서의 강점을 설명합니다. 이러한 결과는 최소한으로 적응된 사전학습 LLM이 그래프 학습을 위한 범용 백본으로 기능할 수 있음을 시사합니다.
텍스트 속성 그래프(Text-Attributed Graphs, TAGs)는 그래프 토폴로지와 풍부한 텍스트 의미론을 통합하는 표현력 있는 데이터 모델로 부상했다. 기존 TAG 표현 학습 방법은, 특히 대규모 언어 모델(LLM)과 함께 사용할 때 심각한 확장성 병목을 겪는다. 데이터 증류가 유망한 데이터 중심 해결책을 제공하지만, 기존 방법은 그래프와 텍스트 모달리티 간의 복잡한 상호작용을 포착하지 못하고, 반지도 설정에 내재된 레이블 부족 문제에 어려움을 겪으며, LLM 기반 후속 작업에 필요한 사람이 읽을 수 있는 텍스트 속성을 생성할 능력이 부족하다. 이러한 과제를 해결하기 위해, 우리는 Wasserstein Distance(WSD)에 의해 안내되는 통합 반지도 프레임워크 \algo{}를 제안한다. 실제 TAG에 대한 우리의 경험적 발견에 기반하여, \algo{}는 협력적 자기학습(collaborative self-training) 방식 내에서 이중 경로 인코더(그래프 인식 및 그래프 비인식)를 활용하는 그래프-텍스트 협력 인코딩 모듈을 도입하여, 신뢰할 수 있는 의사 레이블(pseudo-label)을 수확하고 상보적인 그래프-텍스트 특징을 융합한다. 또한, 우리는 이론적으로 정당화된 WSD 기반 그래프 스케치(sketching) 알고리즘과 비용 효율적인 LLM 텍스트 합성 모듈을 개발하며, 이는 클러스터 기반 키워드 추출을 활용하여 응축된 노드에 대해 일관되고 사람이 읽을 수 있는 요약을 생성한다. 벤치마크 데이터셋에 대한 광범위한 실험은 \algo{}가 GNN 및 LLM 기반 후속 작업 모두에서 최첨단(state-of-the-art) 성능-압축 트레이드오프를 달성하여, 효과적이고 효율적인 TAG 학습 또는 분석을 가능하게 함을 보여준다.
텍스트 속성 그래프(TAGs)에서의 그래프 이상 탐지(GAD)는 사기 탐지 및 학술 무결성 검증과 같은 응용에서 매우 중요하다. 기존 접근법은 일반적으로 두 가지 패러다임으로 나뉜다. GNN 기반 방법은 구조적 패턴을 효과적으로 포착하지만 세밀한 텍스트 의미를 파악하는 데 어려움을 겪는다. 대규모 언어 모델(LLM)을 그래프와 통합하는 방법은 의미 이해를 개선하지만 인접 노드 간의 위상적 관계를 완전히 이해하지 못한다. 또한 두 패러다임 모두 텍스트 의미와 그래프 위상적 관계 간의 대응 관계를 간과하여, 의미가 이웃과 불일치하는 노드를 식별하는 능력이 제한된다. 본 논문에서는 TAG 이상 탐지를 노드-이웃 의미 일관성 문제로 형식화하며, 이상은 노드와 이웃 간의 텍스트 의미 불일치 또는 위상적 편차 중 어느 하나에서 발생할 수 있다. 우리는 N2NSC(Node-to-Neighborhood Semantic Consistency)를 제안한다. 이는 두 가지 상보적 융합 경로를 통해 그래프 위상과 텍스트 의미 간의 대응 관계를 포착하는 프레임워크이다. 두 경로는 시너지적으로 작동하여 LLM이 이상 탐지를 위해 텍스트 및 구조적 이웃 정보를 모두 충분히 활용할 수 있도록 한다. 8개의 데이터셋에 걸친 광범위한 실험을 통해 N2NSC가 현재의 최고 성능 방법들을 일관되게 능가함을 입증한다.
텍스트 속성 그래프(TAGs)에 대한 연구는 인용 네트워크, 전자상거래 플랫폼, 소셜 미디어, 웹 페이지와 같은 다양한 실제 데이터 시나리오에서의 광범위한 응용으로 인해 최근 큰 주목을 받고 있습니다. 대규모 언어 모델(LLMs)의 탁월한 의미적 이해 능력에 영감을 받아, TAGs에 LLMs를 통합하려는 수많은 시도가 있었습니다. 그러나 기존 방법들은 여전히 다양한 그래프와 작업에 걸쳐 일반화하는 데 어려움을 겪고 있으며, 전이 가능한 그래프 구조적 패턴을 포착하는 능력도 제한적입니다. 이를 해결하기 위해 우리는 데이터셋 간 및 작업 간 일반화 능력을 향상시키기 위해 그래프 구조 이해와 LLMs의 의미적 이해 능력을 결합한 프레임워크인 GraspLLM을 소개합니다. 구체적으로, 우리는 동결된 일반 임베딩 모델을 사용하여 서로 다른 그래프의 노드 텍스트를 통합된 의미 공간에 표현하고, 그 위에서 데이터셋 독립적인 구조 정보를 추출하기 위해 여러 모티프 유도 인접 행렬에 걸쳐 모티프 인지 대조 학습을 수행합니다. 그런 다음, 제안된 최적의 문맥 하위 그래프를 사용하여 각 대상 노드에 대해 가장 문맥적으로 관련성 높은 하위 그래프를 추출하고, 정렬 프로젝터를 통해 이 하위 그래프들을 LLM의 토큰 공간에 정렬합니다. 다양한 도메인에 걸친 TAG 벤치마크 데이터셋에 대한 광범위한 실험을 통해 GraspLLM이 TAGs를 위한 기존 LLM 기반 방법들을 일관되게 능가한다는 것을 밝혔으며, 특히 제로샷 시나리오에서 그 성능이 두드러져 다양한 데이터셋과 작업에 걸친 강력한 일반화 능력을 강조했습니다. 우리의 코드는 https://github.com/Heinz217/GraspLLM에서 확인할 수 있습니다.
텍스트 속성 그래프(TAGs)는 인용 네트워크, 소셜 미디어, 전자상거래와 같은 실제 애플리케이션의 기반이 됩니다. TAGs에서의 퓨샷 그래프 학습은 어렵습니다: 클래스당 소수의 레이블만 있고 나머지 그래프는 주석이 달리지 않기 때문에, GNN이나 LLM 모두 단독으로는 잘 학습할 수 없습니다. GNN은 토폴로지를 읽지만 콜드 노드에서 실패하고, LLM은 텍스트를 읽지만 텍스트가 모호한 노드에서 실패합니다. 기존 LLM-GNN 방법들은 모두 동일한 방식을 따릅니다: 하나의 모델을 황금 교사로 지정하고 그 출력(예: 특징 또는 의사 레이블)을 사용하여 다른 모델을 감독합니다. 우리는 희소 감독 하에서는 이 황금 교사 가정이 깨진다고 주장합니다: 어느 모델도 황금 교사가 아니며, 그렇게 취급하면 맹점이 학생 모델로 전이됩니다. 따라서 우리는 묻습니다: 어느 모델도 황금 교사로 지정하지 않고도 효과적인 그래프 학습을 수행할 수 있을까요? 우리는 LLM-GNN 공동 교수법(Co-Teaching)으로 답합니다. 이는 어느 모델도 교사로 고정되지 않는 양방향 공동 교수법 프레임워크입니다. GNN과 LLM은 아키텍처별 작은 손실(small-loss) 기준에 따라 가장 확신 있는 의사 레이블을 교환하고, 매 라운드마다 둘 다 업데이트됩니다. 감독 신호는 궤적에서 추출됩니다: 노드가 라운드 t에서 모델 간 모순에서 라운드 t+1의 모델 간 일치로 이동할 때마다, 동일한 입력에 대한 LLM의 두 답변이 DPO 학습을 위한 선호 쌍(과거의 모순되는 자신 < 새로운 동료가 보증한 자신)을 형성합니다. 우리는 이를 라운드 기반 의사 레이블 선호 최적화(RPL-PO)라고 부릅니다. 6개의 벤치마크에서 LLM-GNN 공동 교수법은 GNN-as-Judge 및 모든 이전 방법을 일관되게 능가하며, Cora에서 7.86%, ogbn-arxiv에서 7.73%의 절대적인 3샷 성능 향상을 보였습니다; 개선 사항은 5샷 및 제로샷 데이터셋 간 전이로 이어집니다. 오류 구조 분석은 황금 교사 가정을 포기하는 것이 어려운 샘플에서 LLM의 그래프 학습 능력을 실질적으로 향상시킴을 추가로 보여줍니다.
대규모 언어 모델(LLM)은 구조화된 관계와 알고리즘 연산에 대한 추론이 필요한 작업인 그래프 계산(graph computation)을 위해 점점 더 많이 탐색되고 있습니다. 그러나 LLM이 언제 이러한 계산을 신뢰할 수 있게 지원할 수 있는지, 그리고 그래프 해결 파이프라인에 어떻게 통합되어야 하는지는 여전히 불분명합니다. LLM과 그래프의 교차점에 있는 기존 조사들은 주로 그래프 학습(graph learning), 텍스트 속성 그래프(text-attributed graphs), 또는 그래프-언어 모델링(graph-language modeling)에 초점을 맞추고 있습니다. 이러한 격차를 해소하기 위해, 우리는 역할 기반 분류법(taxonomy)을 통해 그래프 계산을 위한 LLM에 대한 포괄적인 리뷰를 제공합니다. 구체적으로, 우리는 두 가지 주요 패러다임을 식별합니다: i) LLM을 실행자(executor)로 사용하는 경우, 모델이 그래프 설명과 지시사항을 통해 그래프 작업을 직접 해결합니다; ii) LLM을 계획자(planner)로 사용하는 경우, 모델이 문제를 정의하고, 추론 단계를 분해하며, 실행을 위해 외부 도구나 에이전트(agent)를 호출합니다. 이 분류법을 기반으로 현재 방법들의 강점과 한계를 분석합니다. 리뷰 결과에 따르면, LLM은 단순하고 소규모 작업에는 유망하지만 대규모이고 정확성이 요구되는 작업에는 여전히 신뢰할 수 없는 것으로 나타났습니다. 마지막으로, 사용 가능한 데이터셋(dataset)을 요약하고 네 가지 향후 방향을 제안합니다.