PolicyKG: 기관 정책을 SHACL 지식 그래프로 변환하는 에이전트 LLM 파이프라인
PolicyKG: An Agentic LLM Pipeline for Translating Institutional Policies into SHACL Knowledge Graphs
한국어 초록
기관 정책은 자연어로 남아 있는 반면, 준수 여부를 검사하는 시스템은 기계 판독 가능한 제약을 요구한다. 그 간극을 메우는 작업은 여전히 수작업으로 이루어진다. PolicyKG는 이 루프를 닫는다. 이는 정책 PDF를 읽고, 각 문장을 의무(obligation), 허가(permission), 금지(prohibition)로 분류하며, 레이블을 1차 의무논리(first-order deontic logic)로 승격한 뒤 SHACL 제약을 출력하는 LLM 파이프라인이다. 네 단계가 LangGraph 상태 머신에서 단계별 검증기와 함께 실행된다. 가장 중요한 구성 요소는 Corpus Adapter로, LLM 술어를 대상 온톨로지에 그라운딩하는 YAML 어휘 레지스트리이다. 새 도메인으로 재타깃팅하려면 모델을 재학습하는 것이 아니라 레지스트리를 교체하면 된다. Asian Institute of Technology Policies and Procedures 코퍼스(1,663문장, 443규칙)에서 PolicyKG는 덕틱 분류 정확도 86.9%(Cohen's kappa = .709)에 도달한다. 세 명의 주석자가 50개 항목 표본을 독립적으로 재라벨링하였으며 Fleiss' kappa = .844로 일치한다. 69-shape 부분집합에서 SHACL shape 정확도는 F1 = .866이다. FOL 경로는 규칙의 79.2%를 처리하고, 나머지는 직접 NL-to-SHACL 폴백을 거친다. 443규칙 전부에 대해 2차 이상 구문을 감사하였다. 자동화된 정규식 체크리스트는 아무 것도 플래그하지 않았고, FOL 폴백 92건에 대한 제1저자 1차 검토도 동일하게 확인하였다. 실제 HOL 비율에 대한 정확한 상측 95% Clopper-Pearson bound는 0.67%이다. 이는 하나의 코퍼스에 대한 감사 결과이며, 기관 정책에 대한 FOL의 충분성에 대한 증명은 아니다. AIT 레지스트리를 GDPR 레지스트리로 교체하면 정확한 속성 정렬이 1/15에서 11/15로 상승한다(Fisher's exact p < .001; Cohen's h = 1.53). LexDeMod 임대 계약 벤치마크(N = 200)에서 Macro F1은 .370까지 하락하는데, 이는 임대 영어가 허가를 표현할 때 "shall be entitled"를 사용하기 때문이며—바로 레지스트리 교체가 해결하려는 어휘 불일치이다. 반복 실행 시 해시가 동일한 SHACL 출력이 생성된다.
원문 초록
Institutional policies stay in natural language while the systems that check compliance demand machine-readable constraints. Bridging that gap is still done by hand. PolicyKG closes the loop. It is an LLM pipeline that reads a policy PDF, classifies each sentence as an obligation, permission, or prohibition, lifts the label into first-order deontic logic, and emits SHACL constraints. Four stages run on a LangGraph state machine with per-stage validators. The piece that matters most is the Corpus Adapter: a YAML vocabulary registry that grounds LLM predicates in a target ontology. Retargeting to a new domain means swapping the registry, not retraining a model. On the Asian Institute of Technology Policies and Procedures corpus (1,663 sentences, 443 rules), PolicyKG reaches 86.9% deontic classification accuracy (Cohen's kappa = .709). Three annotators independently re-label a 50-item sample and agree at Fleiss' kappa = .844. SHACL shape correctness on a 69-shape subset is F1 = .866. The FOL path handles 79.2% of rules; the rest go through a direct NL-to-SHACL fallback. We audited every one of the 443 rules for second- or higher-order constructs. An automated regex checklist flagged none, and a first-author pass on the 92 FOL-fallback cases confirmed the same. The exact upper 95% Clopper-Pearson bound on the true HOL rate is 0.67%. This is an audit finding for one corpus, not a proof of FOL sufficiency for institutional policy. Swapping the AIT registry for a GDPR registry raises exact property alignment from 1/15 to 11/15 (Fisher's exact p < .001; Cohen's h = 1.53). On the LexDeMod lease-contract benchmark (N = 200), Macro F1 drops to .370 because lease English uses "shall be entitled" for permission -- exactly the vocabulary mismatch registry swap is meant to fix. Repeated runs produce hash-identical SHACL outputs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.09028v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.