arXiv:2507.05740v2 cs.CL

GPTKB v1.5: A Massive Knowledge Base for Exploring Factual LLM Knowledge

Yujia Hu, Tuan-Phong Nguyen, Shrestha Ghosh, Moritz Müller, Simon Razniewski

제출 2025-07-08

원문 초록

Language models are powerful artifacts, yet their factual knowledge is still poorly understood, and inaccessible to ad-hoc browsing and scalable statistical analysis. This demonstration introduces GPTKB v1.5, a densely interlinked 100-million-triple knowledge base (KB) built for $14,000 from GPT-4.1, using the GPTKB methodology for massive-recursive LLM knowledge materialization. This demo focuses on three use cases: (1) link-traversal-based LLM knowledge exploration, (2) SPARQL-based structured LLM knowledge querying, (3) comparative exploration of the strengths and weaknesses of LLM knowledge. Massive-recursive LLM knowledge materialization is a groundbreaking opportunity both for the systematic analysis of LLM knowledge, as well as for automated KB construction.

요약

GPT-4.1로부터 재귀적 지식 추출 방법론을 적용해 1억 개 트리플 규모의 대규모 지식 베이스(knowledge base)인 GPTKB v1.5를 구축하고, 이를 통해 대규모 언어 모델(LLM)의 사실적 지식을 링크 탐색, SPARQL 질의, 모델 간 비교 분석 방식으로 체계적으로 탐구할 수 있는 데모 시스템을 제시한다. 샘플 기반 평가의 가용성 편향(availability bias)을 극복하고 LLM 지식의 강점과 한계를 대규모로 분석할 수 있는 기반을 마련했으며, 트리플 정밀도 75.5%를 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2507.05740v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13810v1cs.IR공통 태그 Hallucination, Information Retrieval, Large Language Model

LLM 질의 확장을 위한 부분열-연관성 필터링과 범위 인지 선택을 통한 환각 용어 추적 및 제어

Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion

대규모 언어 모델(LLM)은 이제 질의 확장 용어의 표준적인 소스가 되었지만, 환각(hallucination)을 일으킨다. LLM은 존재하지 않는 개체와 주제에서 벗어난 용어를 삽입하여 순위화 노이즈를 추가하고 강력한 검색기(retriever)의 성능을 저해할 수 있다. 코퍼스 그라운딩(corpus grounding), 상호 검증(mutual verification), 선호도 정렬(preference alignment)과 같은 기존의 해결책들은 환각된 용어를 일치성 휴리스틱으로 걸러내야 할 미분화된 골칫거리로 취급하며, 특정 용어가 왜 나타나는지에 대한 메커니즘적 설명이나 몇 개의 용어를 유지해야 하는지에 대한 원칙적인 기준을 제시하지 않는다. 우리는 환각의 부분열-연관성(subsequence-association) 설명에 기반한, 학습이 필요 없고(training-free) 검색기에 구애받지 않는(retriever-agnostic) 방법인 부분열-연관성 필터링 기반 범위 인지 질의 확장(Subsequence-Association Filtered, breadth-aware query expansion, SAFE-QE)을 제안한다. 우리는 각 후보 확장 용어를 코퍼스 조건부 교차 문맥(cross-context) 재현성으로 점수화하며, 무작위화된 질의 맥락에서는 반복적으로 나타나지만 유사 관련 집합(pseudo-relevant set)에서는 근거가 부족한 용어는 지배적인 환각 연관성의 산물로 표시되어 가중치가 낮아진다. 언어 생성을 일관성(consistency, 환각 없음)과 범위(breadth, 커버리지) 사이의 트레이드오프로 특성화한 것에 기반하여, 우리는 용어 선택을 유사 관련 집합에 대한 제약된 커버리지 최대화 문제로 설정하며, 재샘플링에도 대략적으로 넓으면서도 일관되고 안정적인 집합을 유지한다. 또한 우리는 관련 문서가 뒷받침하지 않는 삽입된 확장 용어의 수를 세는 질의 측 충실도(faithfulness) 지표인 환각 확장 용어율(Hallucinated Expansion Term Rate)을 도입한다. 우리는 벤치마크된 TREC 및 BEIR 컬렉션에서 우리의 접근법을 평가한다. 우리의 SAFE-QE는 nDCG@10에서 생성적 확장 및 코퍼스 유도 확장과 통계적으로 구별되지 않으면서, 질의당 지지되지 않는 용어는 더 적게 삽입하며(SAFE-QE 4.3개 대 Query2doc 27.8개, HyDE 57.5개), 모든 확장 방법이 성능 저하를 보이는 강력한 학습된 희소 검색기(learned sparse retriever)에서도 마찬가지이다. 따라서 충실도는 순위화 품질에서 측정 가능한 비용 없이 얻을 수 있다.

arXiv:2610.13948v1cs.AI공통 태그 Knowledge Graphs, Information Retrieval, Large Language Model

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.13416v1cs.AI공통 태그 Information Retrieval, Large Language Model

Web$hell: 에이전틱 웹 접근을 위한 통합 인터페이스

Web$hell: A Unified Interface for Agentic Web Access

대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.

arXiv:2610.13626v1cs.SE공통 태그 Hallucination, Large Language Model

SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹

SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.

arXiv:2610.13695v1cs.CL공통 태그 Knowledge Graphs, Hallucination

구조 기반 지식 그래프를 통한 법률 추론의 검증 가능한 검색

Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph

의료나 법률과 같이 신뢰성이 중요한 환경에서의 모든 자동화는 투명하고 검증 가능해야 합니다. 현재의 대규모 언어 모델(LLM) 기반 시스템은 여러 장점에도 불구하고 고유한 블랙박스 특성으로 인해 이러한 요구사항을 충족하지 못합니다. 검색-증강 생성(RAG)은 해석 가능한 관련 문서에 생성 과정을 그라운딩(grounding)하여 인공지능의 '환각(hallucination)' 위험을 줄이고, 잠재적으로 초기 생성 컨텍스트의 검증을 가능하게 하고자 합니다. 그러나 잠재적 출처의 수와 규모가 증가함에 따라 단순한 검색 방식은 핵심적인 컨텍스트 요소를 간과하여 성능이 저하되는 경향이 있습니다. 본 논문에서는 독일 법전(German Legal Code) 환경에서 이 문제를 해결하고자 합니다. 출처 문서 탐색 및 검색을 위해 구조 기반 파싱으로 지식 그래프(Knowledge Graph, KG)를 구축하고, 여러 KG 기반 청킹(chunking) 및 검색 전략을 비교하며 이들이 검색된 인용의 정확도에 미치는 영향을 평가합니다.

arXiv:2610.01045v2cs.AI공통 태그 Hallucination, Large Language Model

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.