spu.ac.th

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.09028v1cs.AI

PolicyKG: 기관 정책을 SHACL 지식 그래프로 변환하는 에이전트 LLM 파이프라인

PolicyKG: An Agentic LLM Pipeline for Translating Institutional Policies into SHACL Knowledge Graphs

기관 정책은 자연어로 남아 있는 반면, 준수 여부를 검사하는 시스템은 기계 판독 가능한 제약을 요구한다. 그 간극을 메우는 작업은 여전히 수작업으로 이루어진다. PolicyKG는 이 루프를 닫는다. 이는 정책 PDF를 읽고, 각 문장을 의무(obligation), 허가(permission), 금지(prohibition)로 분류하며, 레이블을 1차 의무논리(first-order deontic logic)로 승격한 뒤 SHACL 제약을 출력하는 LLM 파이프라인이다. 네 단계가 LangGraph 상태 머신에서 단계별 검증기와 함께 실행된다. 가장 중요한 구성 요소는 Corpus Adapter로, LLM 술어를 대상 온톨로지에 그라운딩하는 YAML 어휘 레지스트리이다. 새 도메인으로 재타깃팅하려면 모델을 재학습하는 것이 아니라 레지스트리를 교체하면 된다. Asian Institute of Technology Policies and Procedures 코퍼스(1,663문장, 443규칙)에서 PolicyKG는 덕틱 분류 정확도 86.9%(Cohen's kappa = .709)에 도달한다. 세 명의 주석자가 50개 항목 표본을 독립적으로 재라벨링하였으며 Fleiss' kappa = .844로 일치한다. 69-shape 부분집합에서 SHACL shape 정확도는 F1 = .866이다. FOL 경로는 규칙의 79.2%를 처리하고, 나머지는 직접 NL-to-SHACL 폴백을 거친다. 443규칙 전부에 대해 2차 이상 구문을 감사하였다. 자동화된 정규식 체크리스트는 아무 것도 플래그하지 않았고, FOL 폴백 92건에 대한 제1저자 1차 검토도 동일하게 확인하였다. 실제 HOL 비율에 대한 정확한 상측 95% Clopper-Pearson bound는 0.67%이다. 이는 하나의 코퍼스에 대한 감사 결과이며, 기관 정책에 대한 FOL의 충분성에 대한 증명은 아니다. AIT 레지스트리를 GDPR 레지스트리로 교체하면 정확한 속성 정렬이 1/15에서 11/15로 상승한다(Fisher's exact p < .001; Cohen's h = 1.53). LexDeMod 임대 계약 벤치마크(N = 200)에서 Macro F1은 .370까지 하락하는데, 이는 임대 영어가 허가를 표현할 때 "shall be entitled"를 사용하기 때문이며—바로 레지스트리 교체가 해결하려는 어휘 불일치이다. 반복 실행 시 해시가 동일한 SHACL 출력이 생성된다.