지식 베이스 완성을 위한 충실성 기준의 위계
A hierarchy of faithfulness criteria for knowledge base completion
한국어 초록
지식 그래프 완성은 관찰된 트리플을 무작위로 손상시킨 트리플보다 높게 순위 매기는 방식으로 평가되며, 이는 관찰되지 않은 모든 사실을 거짓으로 취급한다. 완성 대상이 단순 그래프가 아니라 기술 논리(description logic) 지식 베이스일 때, 개방 세계 가정(open world assumption)과 연역적 폐쇄(deductive closure) 때문에 이 방식은 부적절하다. 지식 베이스에 상대적으로 후보 공리는 함의(entailed)되거나, 모순(contradictory)이거나, 미정(undetermined)이며, 논리적으로 불가능한 공리와 그럴듯한 새로운 공리를 구분하지 못하는 모델은 단순히 정확도가 낮은 것이 아니라 의미론적으로 올바르지 않다. 우리는 지식 베이스 완성 모델이 논리적으로 충실(logically faithful)하다는 것이 무엇을 의미하는지, 그리고 현재 임베딩 모델이 그런지를 묻는다. 판별(discrimination), 논리적 허용 가능성(logical admissibility), 단조 논리적 충실성(monotonic logical faithfulness), 확률적 논리적 충실성(probabilistic logical faithfulness)이라는 네 가지 점점 더 엄격한 기준의 위계를 정의하고, 이들이 함의의 엄격한 연쇄를 이룸을 증명한다. 가장 엄격한 기준을 상대 모델 개수 $P(\alpha\mid\mathcal{O}) = \#(\mathcal{O}\cup\{\alpha\})/\#(\mathcal{O})$에 기반시키며, 이는 양 끝점에서 삼분법(trichotomy)을 복원하고 그 사이에서 미정 공리들의 순위를 매긴다. 추론기(reasoner)로 생성한 함의·모순·미정 테스트 집합을 사용하여 $\mathcal{EL}$ 온톨로지에서 지식 그래프 및 논리-기하 임베딩 모델을 평가한 결과, 순위 정확도가 논리적 충실성을 함의하지 않으며 평가된 모델 중 어느 것도 위계 전반에 걸쳐 충실하지 않음을 확인한다. 코드는 https://github.com/bio-ontology-research-group/kbc 에서 이용할 수 있다.
원문 초록
Knowledge graph completion is evaluated by ranking observed triples above randomly corrupted ones, which treats every unobserved fact as false. When the object being completed is a description logic knowledge base rather than a plain graph, the open world assumption and deductive closure make this inadequate: relative to the knowledge base, a candidate axiom is entailed, contradictory, or undetermined, and a model that cannot separate a logically impossible axiom from a plausible novel one is not merely less accurate but semantically incorrect. We ask what it means for a knowledge base completion model to be logically faithful, and whether current embedding models are. We define a hierarchy of four increasingly strict criteria, discrimination, logical admissibility, monotonic logical faithfulness, and probabilistic logical faithfulness, and prove that they form a strict chain of implications. We ground the strongest criterion in the relative model count $P(\alpha\mid\mathcal{O}) = \#(\mathcal{O}\cup\{\alpha\})/\#(\mathcal{O})$, which recovers the trichotomy at its endpoints and ranks undetermined axioms in between. Evaluating knowledge graph and logic-geometric embedding models on $\mathcal{EL}$ ontologies, with entailed, contradictory, and undetermined test sets generated by a reasoner, we find that ranking accuracy does not imply logical faithfulness and that none of the evaluated models is faithful across the hierarchy. The code is available at https://github.com/bio-ontology-research-group/kbc.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27863v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Knowledge Graph Embedding via Graph Attenuated Attention Networks
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
TAGGRAPH: 에이전트 지속 이력의 그래프 검색을 위한 태그 증강 그래프
TAGGRAPH: Tag-Augmented Graphs for Graph Retrieval of Agent Persistent Histories
장기 기억은 대규모 언어 모델(LLM) 에이전트(agent)가 과거의 상호작용을 기억하고 세션 전반에서 일관성을 유지할 수 있게 해 주지만, 메모리 시스템은 표현, 인덱싱, 검색, 평가 방식이 서로 달라 비교하기가 어렵습니다. 본 논문에서는 공유된 5W(육하원칙) 스타일의 대화형 메모리를 기반으로 하는 통제된 평가 프레임워크를 제시합니다. 국소적 그래프 구성은 공통의 기본 그래프를 순회하며, AdaptiveGraph는 시간순 엣지와 개인화된 페이지랭크(Personalized PageRank) 확산을 추가합니다. 또한 동일하게 추출된 노트에 대한 BM25와 원시 입력을 사용하는 외부 기준선인 OpenClaw를 평가합니다. 검색 순위는 메모리 설정에 따라 달라집니다. LongMemEval-S에서 AdaptiveGraph는 MRR 0.844로 가장 우수한 그래프 구성을 보였으나, BM25는 0.867, OpenClaw는 0.880에 달했습니다. ATANT Core에서는 국소적 그래프 순회가 확산 및 BM25보다 우수한 성능을 보인 반면, 스트레스 라운드에서는 BM25가 앞섰습니다. 테스트된 범위 내에서 LongMemEval-S의 크기를 줄여도 ATANT 확산 패널티가 재현되지 않았으나, 테스트된 가장 작은 저장소도 ATANT Core보다 여전히 컸기 때문에 저장소 크기 영향을 배제할 수 없습니다. 이 패널티는 관대한 콘텐츠 일치 기준 하에서도 지속되었습니다. 어휘 정규화(normalization)와 추출 품질은 그래프 검색에 실질적인 영향을 미치며, 상위 5위권 실패 사례에서는 추출 태그 누락이 흔하게 나타났습니다. 따라서 검색 전략은 메모리 설정과 함께, 그리고 강력한 어휘 기반 기준선과 대조하여 공동으로 평가되어야 합니다.
과학 AI에서 LLM의 추론 평가를 위한 온톨로지 기반 추론기 검증 벤치마크
Ontology-Grounded, Reasoner-Verified Benchmarks for Evaluating LLM Reasoning in Scientific AI
대규모 언어 모델(LLM)은 생의학 질의응답부터 재료 정보학에 이르기까지 구조화된 지식을 바탕으로 추론하는 과학 AI 응용 분야의 기반으로 점차 자리 잡고 있습니다. 그러나 이들의 논리적 추론은 종종 기대에 미치지 못하여, 해당 분야에서 용납될 수 없는 사실적 부정확성을 초래합니다. 신뢰할 수 있는 평가는 여전히 어려운 과제입니다. 수작업 데이터셋 구축은 확장이 어렵고, LLM 기반 생성은 측정하고자 하는 바로 그 결함을 내재시킬 위험이 있습니다. 고품질 벤치마크는 정답과 오답으로 레이블링된 예시 모두를 명시적인 배경지식에 그라운딩(grounding)해야 하며, 표준 추론기(reasoner)를 통해 정식으로 검증할 수 있어야 합니다. 본 연구에서는 충분히 공리화된 OWL 2 온톨로지로부터 온톨로지 기반 다지선다형 질문(MCQ) 벤치마크를 자동 생성하며, 설계상 정답이 온톨로지에 그라운딩되는 파이프라인을 제안합니다. 오답 선택지(distractor)는 클래스 정의 공리의 우변 클래스 표현식을 변형하여 생성되며, 이들의 오류 여부는 함의 검사를 통해 OWL 추론기로 정식 검증됩니다. 저자들은 세 가지 온톨로지, 즉 Pizza(소규모, 학술용), PMDco(복합형, 재료과학), DOID(대규모, 생의학)에서 파이프라인을 평가하여 각각 112개, 2,491개, 15,216개의 MCQ를 생성했습니다. 오답 선택지는 클래스 불만족성부터 약화된 함의에 이르기까지 4가지 의미적 범주를 포괄하여 특정 추론 실패에 대한 진단적 평가를 가능하게 합니다. 문항들은 자연어 품질 표준을 충족합니다. 5점 만점에 평균 4.02, 4.36, 3.36점의 LLM 판별 점수로 유창성을 확인하였으며, 정답과 오답 선택지 간 0.8 이상의 유사도는 표면적 형태만으로는 오답을 배제할 수 없음을 보여줍니다. 제로샷(zero-shot)으로 평가된 6개 LLM은 41.1~76.8%의 정확도를 기록하여 무작위 추측 기준선인 25%를 크게 웃돌았으며, 이는 본 벤치마크가 도전적이고 변별력이 있음을 나타냅니다. 본 연구는 과학 AI에서 논리적 추론을 평가하기 위한 보다 신뢰할 수 있는 벤치마크로 나아가는 한 걸음입니다.
Open-World Social Event Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.