대규모 언어 모델(LLM)을 그래프 구조 데이터에 적용할 때는 일반적으로 텍스트 노드(node) 속성을 단일 토큰으로 압축한 뒤 GNN으로 추가 처리하는 다단계 파이프라인이 사용되며, 이 과정에서 대부분의 의미론적 내용이 손실됩니다. 본 논문에서는 사전학습된 LLM이 그래프 위상을 기본적으로 처리할 수 있도록 하여 이러한 병목 현상을 완전히 제거하는 그래프 트랜스포머 언어 모델(GTLM)을 소개합니다. GTLM은 기본 모델 대비 구조 관련 파라미터를 0.015%만 추가하면서 그래프 인식 어텐션(attention) 편향을 LLM의 어텐션 모듈에 직접 주입합니다. 학습(training)은 기본 모델의 LoRA 어댑터와 함께 구조 파라미터만을 업데이트합니다. 본 연구는 양방향 어텐션 접두 문맥(prefix)이 노드에 대해 순열 등변(permutation-equivariant)성을 가지며, 그래프가 없을 때는 GTLM이 사전학습된 모델과 정확히 동일하게 축소됨을 증명합니다. 전역적인 노드 순서가 없는 GTLM은 위치에 따른 성능 저하를 보이지 않으며 중간에서 길을 잃는 현상(lost in the middle)도 겪지 않습니다. 동일하게 학습된 일반 텍스트 기준선(baseline)의 성능이 무너지는 반면, needle-in-a-graph 정확도는 1,000토큰에서 64,000토큰까지, 그리고 학습 길이의 4배를 초과해도 안정적으로 유지됩니다. 포괄적인 평가 결과에 따르면, GTLM은 텍스트 속성 그래프 벤치마크, WebQSP 기반 GraphRAG, 분자 벤치마크에서 도메인 특화 SOTA 모델과 동등하거나 그 이상의 성능을 보였으며, GraphQA에서는 강력한 기준선 대비 유의미한 개선을 달성했습니다. 또한 GTLM의 어텐션 헤드가 암묵적으로 메시지 패싱(message passing)을 시뮬레이션하도록 학습됨을 보여주며, 이는 알고리즘 태스크에서의 강점을 설명합니다. 이러한 결과는 최소한으로 적응된 사전학습 LLM이 그래프 학습을 위한 범용 백본으로 기능할 수 있음을 시사합니다.
GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.
그래프 검색-증강 생성(GraphRAG)은 구조화된 엔티티 토폴로지를 활용하여 복잡한 추론에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켜 왔다. 그러나 기존 프레임워크는 표준 자기회귀(autoregressive) 언어 모델에 크게 의존하며, 본질적인 순차 생성 특성이 전체 추론 효율을 심각하게 저해한다. 연속적인 병렬 정제(refine-in-parallel) 디코딩을 통해 대규모 병렬성을 제공하는 확산 언어 모델(DLM)에서 영감을 받아, 우리는 이산 공간에서 GraphRAG를 가속하는 것을 목표로 한다. 그러나 두 가지 과제로 인해 이는 결코 사소하지 않다. 첫째, 부분적으로 디노이즈된 초안은 매우 동적이고 불확실하여 동적 그래프 그라운딩(grounding)이 쉽지 않다. 둘째, 원시 디노이즈 상태는 본질적으로 노이즈가 많고 불안정하여, 동기식 그래프 검색과 다중 홉 집계는 계산 비용이 과도하다. 이를 위해 우리는 그래프 가이드 병렬 디코딩을 통해 확산 언어 모델링과 GraphRAG를 연결하는 새로운 프레임워크 LADDER를 제안한다. 구체적으로, (i) 부분 디노이즈 상태에서 목표 엔티티의 88%가 조기에 등장하며 최종 확정(commitment)이 평균 5.7–9.6스텝 앞당겨진다는 핵심 통찰에 기반하여, 이벤트 기반 자체 클로킹(self-clocking) 검색을 제안한다. 이 메커니즘은 그래프 연결 가능(graph-linkable) 엔티티 집합이 확장될 때만 그래프 검색을 동적으로 트리거하여, 학습된 게이트나 휴리스틱 임계값을 우회하는 비동기 자체 클로킹 정책을 만든다. (ii) 불완전 쿼리(incomplete-query) 그래프 전파 모듈은 전문 그래프 파운데이션 모델을 사용하여 새로 등장하는 엔티티 쿼리를 처리하고, 다중 홉 증거를 지속적으로 집계하여 병렬 예측을 선명하게 하고 전체 디코딩 수렴을 가속하도록 설계되었다. 세 가지 도전적인 다중 홉 QA 벤치마크에 대한 광범위한 실험에서 LADDER는 평균 정확 일치를 39.6%에서 45.2%로 높이면서 지연(latency)을 4.1배 감소시킨다.
검색-증강 생성(RAG)은 다중모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)을 외부 지식에 그라운딩하는 데 있어 핵심 패러다임으로 부상했다. 최근 GraphRAG 방법들은 검색과 추론을 개선하기 위해 구조화된 엔티티-관계 그래프를 도입했다. 그러나 이러한 방법들은 지식 그래프를 오프라인으로 구축하고 단일 패스로 조회하는 정적 데이터 구조로 취급한다는 점에서 여전히 한계를 갖는다. 이 정적 패러다임은 지식 집약적 추론의 상호작용적이고 반복적인 특성과 맞지 않아 세 가지 병목을 초래한다: (i) 텍스트 중심의 분절화로 인한 교차 모달 추론의 저해, (ii) 새로운 증거를 통합하거나 오류를 수정할 수 없는 고정된 구조, (iii) 적응적 정제 없이 단일 패스로 이루어지는 경직된 검색. 이러한 한계를 극복하기 위해, 우리는 지식 그래프를 에이전트 상호작용을 통해 형성되는 동적 환경으로 재개념화하는 자기 진화형 GraphRAG 프레임워크인 EvoGraph-R1을 제안한다. 우리는 검색을 마르코프 결정 과정(MDP)으로 공식화하며, 에이전트가 그래프 상태를 관찰하고 쿼리(GraphRetrieve), 확장(WebSearch), 정제(GraphEdit), 종료(Answer)의 행동을 실행하여 추론을 수행한다. 이러한 행동은 하이퍼그래프 구조를 재형성하고 이후 진화를 안내하는 피드백 신호를 생성한다. 이 폐쇄 루프를 통해 하이퍼그래프는 새로운 증거를 통합하고, 오류를 수정하며, 구조를 정제하여 다중 홉 추론을 지원함으로써 진화한다. 다중모달 VQA 및 텍스트 QA 벤치마크에서의 실험은 정확도, 커버리지, 추적 가능성 측면에서 기존 RAG 기준선 대비 상당한 개선을 보여 주며, 자기 진화형 지식 그래프를 모달리티 전반에 걸친 기본 패러다임으로 확립한다.
그래프 검색-증강 생성(GraphRAG)은 구조화된 지식으로 대규모 언어 모델(LLM)을 강화하지만, 기존 시스템은 단일 추출 패스로 지식 그래프를 구축하여 노이즈가 많은 엔티티와 취약한 검색 결과를 생성한다. 오픈소스 모듈형 GraphRAG 엔진인 RAGU는 추출과 통합을 분리함으로써 이 문제를 해결한다. 엔티티와 관계는 2단계 타입 기반 추출, DBSCAN 기반 중복 제거, LLM 요약, Leiden 커뮤니티 탐지를 거친다. 핵심 통찰은 소형 추출기의 타당성을 뒷받침한다. 파이프라인 내 LLM이 필요로 하는 기술—이해, 추출, 문맥 기반 추론—은 언어 능력에 해당하며, 이는 사실적 세계 지식과 달리 모델 크기에 따라 약하게만 향상된다. 이에 따라 우리는 언어 능력에 최적화된 7B 모델인 Meno-Lite-0.1을 학습시켰으며, 이 모델은 지식 그래프 구축에서 Qwen2.5-32B를 능가하고(상대적 조화 평균 +12.5%), 영어 GraphRAG 태스크에서 동등한 성능을 보인다. GraphRAG-Bench(Medical)에서 RAGU는 모든 팩토이드 수준에서 가장 완전한 컨텍스트를 검색하며(증거 재현율 최대 0.84 대 ≤0.76), 합성 태스크에서 HippoRAG2를 앞선다. 멀티홉 팩토이드 QA에서 HippoRAG2가 보이는 외견상 이점은 대체로 답변 형식의 차이에 기인한 것임이 밝혀진다. RAGU는 `pip install graph_ragu`로 설치 가능하며 단일 GPU에서 실행되고 MIT 라이선스로 공개된다. 소스 코드는 https://github.com/RaguTeam/RAGU에서 공개적으로 이용 가능하며, Meno-Lite-0.1 모델은 https://huggingface.co/bond005/meno-lite-0.1에서 다운로드할 수 있다.