raptorx.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.17579v1cs.LG

LLM 특징이 GNN을 해칠 수 있음: 동질적 그래프 벤치마크에서의 연결 간섭

LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks

그래프 신경망(GNN)에 LLM 생성 노드 특징을 추가하는 것은 표준 벤치마크에서 정확도를 향상시키는 것으로 널리 보고되었습니다. 우리는 대조되는 관찰 결과를 기록합니다: LLM 특징이 순수 입력 연결(공동 학습, 지식 증류, 또는 프롬프트 조건화가 아닌)을 통해 도입될 때, 엔드투엔드 LLM 파이프라인이 성공하는 동일한 동질적 벤치마크에서 정확도를 체계적으로 저하시킬 수 있습니다. Planetoid 공용 분할과 bag-of-words 원본 특징을 사용하는 MLP 백본에서, SBERT로 인코딩된 GPT-4o-mini TAPE 특징을 연결하면 PubMed 테스트 정확도가 -17.0 +/- 0.3 pp, Cora가 -4.3 +/- 0.6 pp 감소합니다 (CiteSeer는 -0.6 +/- 0.8 pp로 시드 노이즈 내에 있음). 각 조건(GCN / GCNII / GAT 백본, 무작위 분할, 더 작은 인코더)을 완화함에 따라 감소 폭은 줄어들며, 중간 동질성을 가진 WikiCS(+4.4 pp)와 ogbn-arxiv(+11.7 pp)에서는 반전됩니다. 연결이 도움이 되는지 해가 되는지 예측하기 위해, 우리는 LLM 단독 식별력의 간단한 측정치인 Delta_sig를 보고합니다. 9개 데이터셋에 걸쳐 Delta_sig는 점 추정에서 동질성보다 연결 비용과 더 강하게 상관관계를 가집니다 (r^2 = 0.38 vs. 0.06; N=9, 부트스트랩 신뢰 구간 중복). 부트스트랩 최적 변화점은 tau = 13.8 pp이며, "Delta_sig <= tau는 비양수 연결 비용을 예측한다"는 규칙은 9개 데이터셋 중 7개를 정확하게 분류합니다. 부트스트랩 샘플의 60%가 tau를 [5, 30] pp에 두므로, 우리는 Delta_sig를 정밀도 필터가 아닌 해석적 렌즈로 취급합니다. PubMed에 대한 차원 제어 소거 실험은 LLM 특징 감소를 동일 소스 PCA(-2.3 pp)와 동일 차원 가우시안 노이즈(-37.3 pp) 사이에 위치시키며, 차원성과 가중치 감소 인공물을 배제합니다. 9가지 PubMed 구성은 r^2 = 0.97인 (sqrt(d_l/n))^1.31에 비례하는 멱법칙 |Delta_concat|을 따릅니다. 낮은 Delta_sig와 작은 n 영역이 바로 헤드라인인 -17 pp PubMed 결손이 나타나는 곳입니다.