대규모 언어 모델(LLM)은 강력한 추론 성능을 보여주었지만, 환각(hallucination) 경향은 최신의 그라운딩(grounding)된 정보가 필요한 지식 집약적 작업에서 신뢰성을 제한한다. 지식 그래프(KG)와 LLM을 결합하면 값비싼 미세조정 없이 지속적으로 업데이트할 수 있는 명시적 기호 지식을 활용할 수 있으며, 빠르게 발전하는 LLM 추론의 이점도 누릴 수 있다. 우리는 모델 미세조정이 필요 없는 확장 가능한 지식 그래프 질의응답(KGQA) 접근법인 MARS를 제안한다. 개방형 에이전트 탐험에 의존하는 대신, MARS는 질문 엔티티를 KG에 연결하고 관련 다음 홉(next-hop) 정보를 반복적으로 검색하는 구조화된 검색 절차를 수행한다. 각 단계에서 MARS는 그래프 순회를 계속할지 최종 SPARQL 쿼리를 생성할지 결정하여, 질문에 따라 검색 깊이를 적응적으로 조절하면서 전체 파이프라인을 완전한 에이전트 방식보다 더 예측 가능하게 유지한다. 우리는 여러 LLM과 설정, 다국어 평가를 포함하여 세 가지 기존 KGQA 벤치마크에서 MARS를 평가하고, ablation study와 오류 분석을 통해 통찰을 제공한다. 우리의 접근법은 효율적이고 확장 가능한 상태를 유지하면서 최신(state-of-the-art) 방법 대비 경쟁력 있는 성능을 달성한다. 평가 결과, 코드 및 리소스는 공개적으로 제공된다: https://github.com/dice-group/mars-kgqa.
본 논문은 GRISP(Guided Recurrent IRI Selection over SPARQL Skeletons)를 제안한다. 이는 미세조정된 소형 언어 모델(SLM)을 사용하여 지식 그래프에 대한 SPARQL 기반 질의응답 방법이다. 자연어 질문이 주어지면, 이 방법은 SLM을 사용하여 자연어 SPARQL 쿼리 스켈레톤을 생성하고, 백트래킹 탐색(backtracking search)을 통해 자연어 플레이스홀더를 해소한다. 이 과정에서 지식 그래프 제약 하에 지식 그래프 항목을 검색하고 재순위화한다. SLM은 질문-쿼리 쌍에서 생성된 스켈레톤 생성 및 재순위화 데이터에 대해 공동 학습된다. Wikidata 및 Freebase 벤치마크에서 이 방법을 평가한 결과, 다른 최신 미세조정 기반 방법들보다 우수한 성능을 달성한다.
복잡한 지식 베이스 질의응답(KBQA)은 일반적으로 질문별 서브그래프에 대한 정보 검색 또는 실행 가능한 논리형으로의 의미 구문 분석(semantic parsing)을 통해 접근한다. 우리는 후자의 패러다임을 연구한다. 최근 대규모 언어 모델(LLM) 에이전트는 의미 구문 분석을 대화형으로 만든다: 추론, 지식 베이스 질의, 부분 SPARQL 쿼리 확장을 번갈아 수행한다. 이러한 교차 수행은 one-shot 생성에 대한 의존을 줄이지만, KB 그라운딩의 품질이 상호작용 도구가 무엇을 노출하는지에 달리게 만든다. 기존 에이전트는 엔티티 타입, 속성의 domain과 range, 기대되는 답변 타입에 체계적으로 조건화하지 않은 채 주로 어휘적 관련성과 인스턴스 수준 관찰을 통해 후보 속성을 검색하거나 가지치기한다. 우리는 이러한 실패 양식을 타입 맹목(type-blind) 그라운딩이라고 부른다. 이는 그라운딩 탐색 공간을 확대하고, 종종 그럴듯해 보이지만 의미적으로 호환되지 않는 트리플 패턴을 생성하여 빈 결과로 실행된다. 우리는 SAGA(에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩)를 제안한다. 이는 속성 탐험을 스키마 제약 그라운딩 연산으로 전환하는 학습 없는 프레임워크이다. SAGA는 지속적인 양방향 타입 상태를 유지하고, 구성 시점에 알려진 비호환 속성 후보를 필터링하며, 남은 그래프 패턴을 간결한 스키마 주석 형식으로 제시하고, 경험적 및 trace-local 증거를 통해 누락된 스키마 정보를 관대하게 처리한다. Wikidata와 Freebase에 걸친 9개의 벤치마크 설정에서 SAGA는 9개 설정 모두에서 최고 F1을, 8개에서 최고 exact-match 정확도를 달성했으며, 보고된 모든 Wikidata 설정에서 빈 결과 쿼리를 줄였다.
GPT-4.1로부터 재귀적 지식 추출 방법론을 적용해 1억 개 트리플 규모의 대규모 지식 베이스(knowledge base)인 GPTKB v1.5를 구축하고, 이를 통해 대규모 언어 모델(LLM)의 사실적 지식을 링크 탐색, SPARQL 질의, 모델 간 비교 분석 방식으로 체계적으로 탐구할 수 있는 데모 시스템을 제시한다. 샘플 기반 평가의 가용성 편향(availability bias)을 극복하고 LLM 지식의 강점과 한계를 대규모로 분석할 수 있는 기반을 마련했으며, 트리플 정밀도 75.5%를 달성했다.