PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10212v1cs.AI

KGCQual: 텍스트로부터 구축된 지식 그래프 품질 평가를 위한 해석 가능한 프레임워크

KGCQual: An Interpretable Framework for Evaluating the Knowledge Graph Construction Quality from Text

지식 그래프(Knowledge Graph, KG)는 자동화된 추출 파이프라인을 통해 점점 더 많이 구축되고 있으나, 이러한 시스템은 종종 잘못된 또는 불완전한 트리플을 생성하여 다운스트림 성능을 저하시킨다. 기존의 평가 방식은 태스크별 메트릭이나 소규모 수동 검증에 크게 의존하여, 추출된 그래프의 구조적·의미적 충실도에 대한 통찰이 제한적이다. 우리는 자동 추출된 그래프가 소스 텍스트에 표현된 핵심 명사구, 술어 관계, 부정과 같은 기본적인 언어 현상을 포착하는 "이상적인" 그래프에 얼마나 근접하는지를 측정하는, 새로운 해석 가능한 내재적 KG 품질 평가 메트릭을 제안한다. 우리의 프레임워크는 두 가지 상호보완적인 구성 요소를 통합한다: (1) 완전성, 해소 품질, 연결성을 평가하는 엔티티 수준 평가, (2) 어휘 유사도, 의존 파싱 정렬, 경량 부정 처리를 활용하여 의미적 충실도를 보장하면서 술어 보존 및 다중성을 판단하는 관계 수준 평가. 우리는 WebNLG, TinyButMighty, BenchIE를 포함한 여러 최신 트리플 추출 시스템과 데이터셋에 걸쳐 메트릭을 평가하여, 기존 메트릭이 간과하는 누락, 중복, 구조적 편차를 신뢰성 있게 식별함을 입증한다. 본 연구는 자동화된 KG 구축 방법을 비교하기 위한 확장 가능하고 모델 비의존적이며 해석 가능한 프레임워크를 제공하며, 표준화된 평가의 토대를 마련한다. 또한 명사 및 동사 구성 요소를 분리하는 에블레이션 연구와, KGCQual 점수가 동일한 추출 KG에서의 링크 예측 성능과 유의미한 상관관계를 보임을 보여주는 다운스트림 평가를 통해 메트릭을 추가적으로 검증한다. 코드 저장소는 https://github.com/kracr/kg-quality-metric 에서 확인할 수 있다.

arXiv:2607.03447v1cs.IR

TRIAGE: 신뢰할 수 있는 검색 계측 및 그래프 평가

TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation

그래프 기반 검색-증강 생성(Graph-RAG)의 기반이 되는 지식 그래프(KG)는 전문가의 큐레이션이 아닌 LLM 기반 추출에 의해 자동으로 구축되는 경우가 점점 늘어나고 있다. 적절한 평가를 위해서는 추출, 그래프 구축, 추론 등 관련된 모든 단계를 계측하여 오류를 국소화할 수 있어야 하며, 특정 단계에서 발생한 실패가 최종 단계에서 오답으로만 발견되는 일이 없도록 해야 한다. 우리는 자동화된 문서 기반 Graph-RAG를 위한 단계 인식 계측 프레임워크 TRIAGE를 소개한다. TRIAGE는 기반 그래프의 신뢰 가능 여부뿐만 아니라 그래프 질의에 드는 비용까지 함께 묻는다. TRIAGE는 세 단계에 단계별로 독립적으로 해석 가능한 지표를 부착한다: KG 구현 단계(트리플 신뢰도, 출처 커버리지, 스키마 및 정규화 검사), 전문가에 의한 KG 검증 단계(그래프 수준 구조적 품질, 참조가 제공될 때 오프라인 캘리브레이션으로만 계산되는 정확성 및 완전성), KG 활용 단계(검색 커버리지, 충실도, 검색 비용). 배포된 지표는 골드 어노테이션이 필요 없으며, 골드 어노테이션을 요구하는 지표는 오프라인 캘리브레이션 용도로만 사용된다. 활용 시점에 이 지표들은 필요 조건들의 진단 체인을 형성하며, 처음으로 끊어진 연결고리가 실패를 국소화하고, 해당 진단은 이를 해결할 수 있는 단계별 조정 수단—추출, 그래프 및 스키마, 또는 검색—으로 매핑된다. TRIAGE는 개념 증명과 재현 가능한 평가 프로토콜을 갖춘 이론적 프레임워크다.