TRIAGE: 신뢰할 수 있는 검색 계측 및 그래프 평가
TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation
그래프 기반 검색-증강 생성(Graph-RAG)의 기반이 되는 지식 그래프(KG)는 전문가의 큐레이션이 아닌 LLM 기반 추출에 의해 자동으로 구축되는 경우가 점점 늘어나고 있다. 적절한 평가를 위해서는 추출, 그래프 구축, 추론 등 관련된 모든 단계를 계측하여 오류를 국소화할 수 있어야 하며, 특정 단계에서 발생한 실패가 최종 단계에서 오답으로만 발견되는 일이 없도록 해야 한다. 우리는 자동화된 문서 기반 Graph-RAG를 위한 단계 인식 계측 프레임워크 TRIAGE를 소개한다. TRIAGE는 기반 그래프의 신뢰 가능 여부뿐만 아니라 그래프 질의에 드는 비용까지 함께 묻는다. TRIAGE는 세 단계에 단계별로 독립적으로 해석 가능한 지표를 부착한다: KG 구현 단계(트리플 신뢰도, 출처 커버리지, 스키마 및 정규화 검사), 전문가에 의한 KG 검증 단계(그래프 수준 구조적 품질, 참조가 제공될 때 오프라인 캘리브레이션으로만 계산되는 정확성 및 완전성), KG 활용 단계(검색 커버리지, 충실도, 검색 비용). 배포된 지표는 골드 어노테이션이 필요 없으며, 골드 어노테이션을 요구하는 지표는 오프라인 캘리브레이션 용도로만 사용된다. 활용 시점에 이 지표들은 필요 조건들의 진단 체인을 형성하며, 처음으로 끊어진 연결고리가 실패를 국소화하고, 해당 진단은 이를 해결할 수 있는 단계별 조정 수단—추출, 그래프 및 스키마, 또는 검색—으로 매핑된다. TRIAGE는 개념 증명과 재현 가능한 평가 프로토콜을 갖춘 이론적 프레임워크다.