LLM에게 그래프를 보는 법 가르치기: 텍스트와 구조적 추론의 통합
Teaching LLMs to See Graphs: Unifying Text and Structural Reasoning
한국어 초록
대규모 언어 모델(LLM)을 그래프 구조 데이터에 적용할 때는 일반적으로 텍스트 노드(node) 속성을 단일 토큰으로 압축한 뒤 GNN으로 추가 처리하는 다단계 파이프라인이 사용되며, 이 과정에서 대부분의 의미론적 내용이 손실됩니다. 본 논문에서는 사전학습된 LLM이 그래프 위상을 기본적으로 처리할 수 있도록 하여 이러한 병목 현상을 완전히 제거하는 그래프 트랜스포머 언어 모델(GTLM)을 소개합니다. GTLM은 기본 모델 대비 구조 관련 파라미터를 0.015%만 추가하면서 그래프 인식 어텐션(attention) 편향을 LLM의 어텐션 모듈에 직접 주입합니다. 학습(training)은 기본 모델의 LoRA 어댑터와 함께 구조 파라미터만을 업데이트합니다. 본 연구는 양방향 어텐션 접두 문맥(prefix)이 노드에 대해 순열 등변(permutation-equivariant)성을 가지며, 그래프가 없을 때는 GTLM이 사전학습된 모델과 정확히 동일하게 축소됨을 증명합니다. 전역적인 노드 순서가 없는 GTLM은 위치에 따른 성능 저하를 보이지 않으며 중간에서 길을 잃는 현상(lost in the middle)도 겪지 않습니다. 동일하게 학습된 일반 텍스트 기준선(baseline)의 성능이 무너지는 반면, needle-in-a-graph 정확도는 1,000토큰에서 64,000토큰까지, 그리고 학습 길이의 4배를 초과해도 안정적으로 유지됩니다. 포괄적인 평가 결과에 따르면, GTLM은 텍스트 속성 그래프 벤치마크, WebQSP 기반 GraphRAG, 분자 벤치마크에서 도메인 특화 SOTA 모델과 동등하거나 그 이상의 성능을 보였으며, GraphQA에서는 강력한 기준선 대비 유의미한 개선을 달성했습니다. 또한 GTLM의 어텐션 헤드가 암묵적으로 메시지 패싱(message passing)을 시뮬레이션하도록 학습됨을 보여주며, 이는 알고리즘 태스크에서의 강점을 설명합니다. 이러한 결과는 최소한으로 적응된 사전학습 LLM이 그래프 학습을 위한 범용 백본으로 기능할 수 있음을 시사합니다.
원문 초록
Applying Large Language Models (LLMs) to graph-structured data usually involves multi-step pipelines in which textual node attributes are compressed into single tokens and further processed by GNNs, discarding most of their semantic content. We introduce the Graph Transformer Language Model (GTLM), which enables a pretrained LLM to process graph topology natively and removes this bottleneck entirely. GTLM injects graph-aware attention biases directly into the LLM's attention modules, adding only 0.015\% structure-related parameters relative to the base model. Training updates only the structural parameters together with a LoRA adapter on the base model. We prove that our bidirectional attention prefix is permutation-equivariant over nodes and that GTLM reduces exactly to the pretrained model when no graph is present. Having no global node ordering, GTLM shows no positional degradation and does not \textit{get lost in the middle}: needle-in-a-graph accuracy stays flat from 1k to 64k tokens and 4x past the training length, while an identically trained flat-text baseline collapses. Comprehensive evaluations show that a GTLM matches or exceeds domain-specific state-of-the-art models on text-attributed graph benchmarks, GraphRAG on WebQSP, and molecular benchmarks, while meaningfully improving over strong baselines on GraphQA. We further show that GTLM's attention heads implicitly learn to simulate message passing, explaining its strength on algorithmic tasks. Together, these results suggest that a minimally adapted pretrained LLM can serve as a general backbone for graph learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VQIL: 그래프 상의 섭동 반응 순위화를 위한 가시적 양자 간섭 학습
VQIL: Visible Quantum Interference Learning for Perturbation Response Ranking on Graphs
국소적 섭동(perturbation)이 네트워크에 미치는 영향을 학습하는 것은 시스템의 반응을 유발하거나 흡수하는 구성 요소를 식별하는 데 중요합니다. 본 연구에서는 이를 시드 조건부 반응 순위화(seed-conditioned response ranking) 문제로 정의합니다. 즉, 하나의 시드 노드(node)에서 섭동이 발생했을 때 다른 모든 노드를 반응 강도에 따라 순위화하는 것입니다. 이는 모델(model)에 상호작용 토폴로지만 주어지고 섭동이 전파되는 방식을 지배하는 메커니즘을 데이터로부터 학습해야 할 때 특히 어렵습니다. 본 논문에서는 시드 조건부 순위화를 위한 학습 가능한 세게디 양자 워크(Szegedy quantum walk)인 VQIL(Visible Quantum Interference Learning)을 제안합니다. 워크 연산자가 학습(training) 전반에 걸쳐 유니터리(unitary) 상태를 유지하는 동안, 에지 가중치, 링크 위상, 노드별 위상 회전이 역전파(backpropagation)를 통해 엔드투엔드로 최적화됩니다. 노드 점수는 양자 워크 진폭의 기하학적 감쇠 코히런트 합(coherent sum)에서 얻어지며, 이를 통해 최종 제곱 노름(squared-norm) 판독 전에 양자 간섭이 가능해집니다. 학습된 각 매개변수(parameter)는 명명된 에지 또는 노드에 연결되어 있으므로, 학습된 모델은 전파 메커니즘에서 개별 그래프 구성 요소의 역할에 대해 직접 검사 가능한 가설을 제공합니다. 전기적 매개변수를 모델에 제공하지 않은 6개 송전망에 대한 교류 조류(AC power-flow) 섭동 실험에서, VQIL은 스피어만 순위 상관계수를 학습되지 않은 워크의 0.147에서 0.831로 향상시켰으며 동일하게 학습된 무작위 워크 모델의 성능을 능가했습니다. Perturb-seq 지도 신호가 있는 5개 단백질-단백질 상호작용 네트워크에 대한 유전자 섭동 실험에서 VQIL은 순위 상관계수를 0.171에서 0.620으로 향상시켜 가장 강력한 고전적 및 신경망 기반 학습 베이스라인들을 능가했습니다. 이러한 결과는 학습 가능한 양자 워크 간섭이 그래프 상에서 시드 조건부 반응 순위를 학습하기 위한 확장 가능하고 해석 가능한 귀납적 바이어스(inductive bias)를 제공함을 보여줍니다.
엣지 독립성이 실패할 때: 잠재 사회성 사전분포를 이용한 결합 그래프 디퓨전
When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors
이산 그래프 디퓨전 모델은 마르코프 노이즈 모델을 사용한 독립적인 엣지(edge) 업데이트를 통해 그래프 구조를 손상시킨다. 출력 분포에 대한 교환가능성(exchangeability) 요구 조건과 결합되면, 터미널 사전분포(prior)는 필연적으로 에르되시-레니(Erdős–Rényi, E-R) 랜덤 그래프가 된다. 이는 노드 특징(feature) 없는 비조건부 그래프 생성에 근본적인 결과를 초래한다: 큰 그래프의 극한에서, E-R 그래프에 적용된 모든 GNN 디노이저(denoiser)는 대략적으로 E-R 그래프를 출력하여, 효과적인 디노이징(denoising)을 어렵게 만든다. 실제로, 생성된 그래프는 의미 있는 노드 이질성(heterogeneity)과 고차 구조(higher-order structure)를 복원하지 못한다. 이전 모델들은 이를 보완하기 위해 전문화된 노드 특징을 도입했으며, 이를 표현력(expressivity) 문제로 간주했지만, 사전분포의 역할은 검토되지 않은 채로 남아 있었다. 우리는 대신 잠재 사회성 사전분포(Latent Sociability Prior, LSP)와, 잠재 노드 사회성(sociability) 변수와 그래프 구조를 함께 진화시키는 결합(joint) 디퓨전 프로세스를 도입하여 근본 원인을 해결하며, 교환가능성을 유지하면서 엣지 독립성을 제거한다. 기존의 잠재 그래프 디퓨전 방법들과 달리, 사회성 메커니즘은 복잡한 인코더(encoder)를 필요로 하지 않는다: 그 유일한 역할은 엣지 업데이트를 안내하고 궤적(trajectory) 전체에서 노드 이질성을 보존하는 것이다. 우리는 여러 그래프 생성 데이터셋에서 접근법을 검증하고, 제안된 프레임워크가 노드 특징이 없는 기준선(baseline) 방법들보다 그래프 분포를 더 정확하게 포착함을 보인다.
이산 그래프 확산 모델은 은밀하게 암기하고 있다
Your Discrete Graph Diffusion Model is Secretly Memorizing
이산 그래프 확산 모델(Discrete graph diffusion models, GDM)은 마르코프(Markovian) 노이즈 모델 하에서 노드(node)와 에지에 독립적으로 노이즈를 추가하여 그래프 구조를 손상시킵니다. 노드 특징이 없는 무조건부 설정에서, 단일 그래프로 학습(training)된 등변 노이즈 제거기(equivariant denoiser)는 새로운 그래프를 생성할 수 있으며 에지 겹침(edge overlap) 및 WL 커널(kernel) 유사도와 같은 샘플 수준의 지표에서는 암기의 증거를 찾을 수 없습니다. 본 연구에서는 이러한 관점에 이의를 제기하고, 그래프 확산 모델이 실제로 암기 현상을 보인다는 점을 최초로 입증합니다. 2-블록 확률적 블록 모델(stochastic block models, SBM)로 학습된 GDM의 역방향 확산 궤적(reverse diffusion trajectory)을 분석한 결과, 강력한 학습 데이터 바이어스(bias)를 발견했습니다. 즉, 모델(model)은 제외된 테스트 그래프에 비해 손상된 학습 그래프를 거의 완벽하게 복원합니다. 이러한 현상은 역방향 궤적이 손상된 학습 그래프에 조건화될 때만 나타나고 추론(inference) 중에는 드러나지 않으므로, 우리는 이를 조건부 암기(conditional memorization)라고 명명합니다. 이는 제외된 그래프에서의 손실(loss)이 악화되는 반면 학습 손실은 개선되는 일반화 격차(generalization gap)의 확대와 일치하며, 조기 종료(early stopping)로도 완화할 수 없습니다. 암기의 시작은 항상 생성된 그래프에서 커뮤니티 구조의 출현보다 앞서 발생하므로, 그보다 앞선 모든 체크포인트(checkpoint)는 구조가 없는 그래프만을 생성합니다. 이러한 동작은 우리가 테스트한 모든 노드 크기에 걸쳐 유지됩니다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
ZAGNet: 환자 단위 폐 초음파 진단을 위한 구역 인식 그래프 집계 네트워크
ZAGNet: Zone-Aware Graph Aggregation Network for Patient-Level Lung Ultrasound Diagnosis
환자 단위 폐 초음파(LUS) 진단은 여러 해부학적 구역에 걸쳐 획득된 소견을 통합해야 하지만, 임상 검사에서는 구역이 누락되는 등 가변적이고 불완전한 스캔 프로토콜이 자주 발생합니다. 기존의 진단 인공지능 방법론들은 주로 개별 프레임이나 비디오 루프를 분석하며, 환자 단위 추론(inference)을 위해 구역 간 관계를 무시하는 최대 풀링(max pooling)이나 평균 풀링(mean pooling)과 같은 휴리스틱 집계 전략에 의존합니다. 본 논문에서는 시간적으로 추적된 병리 소견을 해부학적 구역 인접성으로 연결된 그래프 노드(node)로 표현하는 구역 인식 그래프 신경망(neural network)인 ZAGNet을 제안합니다. 그래프 트랜스포머(transformer) 네트워크는 인접한 폐 영역 전반에 걸쳐 문맥 정보를 전파하며, 가상 글로벌 노드는 그래프 수준의 특징을 집계하여 환자 단위 지도학습만으로 환자 단위의 폐 경화(consolidation) 및 흉막 삼출(pleural effusion)을 예측합니다. ZAGNet은 고정된 입력 형식이나 크기가 없는 그래프 구조 상에서 연산함으로써 누락된 구역을 유연하게 수용합니다. 전면, 후면 및 외측 흉부 영역에 걸쳐 4개에서 16개 구역으로 다양한 검사를 포함하는 714명의 대상자(20,256개 LUS 비디오 루프)로 구성된 다기관 데이터셋(dataset)에서 ZAGNet을 평가합니다. 폐 경화 진단에서 ZAGNet은 최대 풀링의 0.677 및 평균 풀링의 0.674에 비해 0.803의 AUC를 달성했습니다. 흉막 삼출의 경우 AUC가 최대 풀링의 0.804 및 평균 풀링의 0.815에서 0.893으로 향상되었습니다. 이는 폐 경화 및 흉막 삼출에 대해 각각 최대 19%와 11%의 향상을 나타냅니다. 이러한 결과는 그래프 기반의 구역 간 추론이 자동화된 환자 단위 LUS 평가를 위한 효과적이고 임상적으로 일관된 프레임워크를 제공함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.