황금 교사를 넘어: LLM-GNN 공동 교수법을 통한 그래프 학습 강화
Beyond the Golden Teacher: Enhancing Graph Learning through LLM-GNN Co-teaching
텍스트 속성 그래프(TAGs)는 인용 네트워크, 소셜 미디어, 전자상거래와 같은 실제 애플리케이션의 기반이 됩니다. TAGs에서의 퓨샷 그래프 학습은 어렵습니다: 클래스당 소수의 레이블만 있고 나머지 그래프는 주석이 달리지 않기 때문에, GNN이나 LLM 모두 단독으로는 잘 학습할 수 없습니다. GNN은 토폴로지를 읽지만 콜드 노드에서 실패하고, LLM은 텍스트를 읽지만 텍스트가 모호한 노드에서 실패합니다. 기존 LLM-GNN 방법들은 모두 동일한 방식을 따릅니다: 하나의 모델을 황금 교사로 지정하고 그 출력(예: 특징 또는 의사 레이블)을 사용하여 다른 모델을 감독합니다. 우리는 희소 감독 하에서는 이 황금 교사 가정이 깨진다고 주장합니다: 어느 모델도 황금 교사가 아니며, 그렇게 취급하면 맹점이 학생 모델로 전이됩니다. 따라서 우리는 묻습니다: 어느 모델도 황금 교사로 지정하지 않고도 효과적인 그래프 학습을 수행할 수 있을까요? 우리는 LLM-GNN 공동 교수법(Co-Teaching)으로 답합니다. 이는 어느 모델도 교사로 고정되지 않는 양방향 공동 교수법 프레임워크입니다. GNN과 LLM은 아키텍처별 작은 손실(small-loss) 기준에 따라 가장 확신 있는 의사 레이블을 교환하고, 매 라운드마다 둘 다 업데이트됩니다. 감독 신호는 궤적에서 추출됩니다: 노드가 라운드 t에서 모델 간 모순에서 라운드 t+1의 모델 간 일치로 이동할 때마다, 동일한 입력에 대한 LLM의 두 답변이 DPO 학습을 위한 선호 쌍(과거의 모순되는 자신 < 새로운 동료가 보증한 자신)을 형성합니다. 우리는 이를 라운드 기반 의사 레이블 선호 최적화(RPL-PO)라고 부릅니다. 6개의 벤치마크에서 LLM-GNN 공동 교수법은 GNN-as-Judge 및 모든 이전 방법을 일관되게 능가하며, Cora에서 7.86%, ogbn-arxiv에서 7.73%의 절대적인 3샷 성능 향상을 보였습니다; 개선 사항은 5샷 및 제로샷 데이터셋 간 전이로 이어집니다. 오류 구조 분석은 황금 교사 가정을 포기하는 것이 어려운 샘플에서 LLM의 그래프 학습 능력을 실질적으로 향상시킴을 추가로 보여줍니다.