arXiv:2610.13695v1 cs.CL

구조 기반 지식 그래프를 통한 법률 추론의 검증 가능한 검색

Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph

Ibrahim Siddig, Sviatoslav Tugeev, Munir Georges

제출 2026-10-09

저자 비고

arXiv Comments

Accepted at the RAGE-KG 2026 Workshop, co-located with ISWC 2026. 7 pages, 3 figures

한국어 초록

의료나 법률과 같이 신뢰성이 중요한 환경에서의 모든 자동화는 투명하고 검증 가능해야 합니다. 현재의 대규모 언어 모델(LLM) 기반 시스템은 여러 장점에도 불구하고 고유한 블랙박스 특성으로 인해 이러한 요구사항을 충족하지 못합니다. 검색-증강 생성(RAG)은 해석 가능한 관련 문서에 생성 과정을 그라운딩(grounding)하여 인공지능의 '환각(hallucination)' 위험을 줄이고, 잠재적으로 초기 생성 컨텍스트의 검증을 가능하게 하고자 합니다. 그러나 잠재적 출처의 수와 규모가 증가함에 따라 단순한 검색 방식은 핵심적인 컨텍스트 요소를 간과하여 성능이 저하되는 경향이 있습니다. 본 논문에서는 독일 법전(German Legal Code) 환경에서 이 문제를 해결하고자 합니다. 출처 문서 탐색 및 검색을 위해 구조 기반 파싱으로 지식 그래프(Knowledge Graph, KG)를 구축하고, 여러 KG 기반 청킹(chunking) 및 검색 전략을 비교하며 이들이 검색된 인용의 정확도에 미치는 영향을 평가합니다.

원문 초록

Any automation within reliability-critical contexts such as medicine or law has to be transparent and verifiable. Despite their advantages, current LLM-based systems do not meet these requirements due to their inherent black-box nature. Retrieval Augmented Generation (RAG) attempts to ground the generative process in the relevant interpretable documents, thereby reducing the risk of AI 'hallucinations' and potentially enabling verification of the initial generation context. However, as the number and size of potential sources increases, naive retrieval approaches tend to perform worse, ignoring critical context elements. In this paper we aim to tackle this problem in the context of German Legal Code. Using structure-driven parsing to create a Knowledge Graph (KG) for the source document navigation and retrieval, we compare several KG-informed chunking and retrieval strategies and evaluate their effect on the accuracy of retrieved citations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13695v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10971v1cs.CL공통 태그 Hallucination, Legal Reasoning, Retrieval-augmented Generation

인용이 오도할 때? 법률 환각 탐지를 위한 주장 수준의 벤치마크

When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection

대규모 언어 모델(LLM)이 법률 연구 및 문서 작성에 점차 많이 활용되고 있으나, 인용된 출처의 뒷받침 없이도 그럴듯하게 들리는 주장을 여전히 생성할 수 있습니다. 본 연구에서는 법률적 주장이 근거 권위(underlying authority)에 의해 뒷받침되는지 검증하기 위한 벤치마크인 PARCEL을 소개합니다. 최근 뉴욕주 항소법원 판결을 활용하여 뒷받침됨(Supported), 반박됨(Refuted), 또는 발견되지 않음(Not Found)으로 라벨링된 3,396개의 괄호형(parenthetical-style) 주장 데이터셋을 구축합니다. 본 연구는 이 과제를 삼항 자연어 추론 문제로 설정하고, 제로샷(zero-shot) 환경에서 여러 최신 LLM을 평가합니다. 가장 우수한 모델은 최대 0.97의 정확도에 도달하지만, 전체 판결문 텍스트가 제공되는 경우에도 모델이 뒷받침되지 않는 주장을 뒷받침되는 것으로 잘못 표시하는 중요한 취약점 또한 결과에서 드러납니다. 모든 모델에 걸쳐 근거의 부재를 탐지하는 것이 직접적인 모순을 탐지하는 것보다 어려우며, 위조되었으나 그럴듯한 인용이 가장 큰 성능 저하를 유발합니다. 전반적으로 PARCEL은 법률 RAG 시스템에서 주장 수준의 그라운딩(groundedness)을 테스트하기 위한 실용적인 벤치마크를 제공합니다.

arXiv:2609.27009v1cs.CL공통 태그 Knowledge Graphs, Legal Reasoning, Retrieval-augmented Generation

LEGO: 법률 추론을 위한 Expert GraphRAG와 Expert Chain-of-Thought의 시너지

LEGO: Synergizing Expert GraphRAG and Expert Chain-of-Thought for Legal Reasoning

대규모 언어 모델(LLM)은 법률과 같은 고위험 영역에 점점 더 적용되고 있으나, 복잡한 법률 추론은 두 가지 구조적 난제로 여전히 제한된다. 첫째, 기존 RAG 및 GraphRAG 방법은 어휘적 또는 의미적 유사성을 강조하는 반면, 법조문 간의 규범적 관계를 간과한다. 둘째, 기본 사고의 연쇄(Chain-of-Thought) 프롬프팅은 법률 추론의 규범적 구조를 강제하지 않은 채 그럴듯한 근거를 생성할 수 있다. 법률 추론 영역의 파이프라인 병목을 해결하기 위해, 우리는 복잡한 법률 추론을 위해 Legal Expert GraphRAG와 expert Chain-of-thought를 상호 보완적으로 결합하는 이중 모듈 프레임워크인 LEGO를 제안한다. ExpertGraphRAG는 전문가 주석이 달린 민법 그래프에 이러한 규범적 관계를 인코딩하고, 탐욕적 규범 커버리지(normative-coverage) 검색 알고리즘을 사용하여 사례별 조문 부분 그래프를 동적으로 추출한다. 반면 ExpertCoT는 검색된 조문과 사건 사실을 구조화된 조문-사실-결론(Provision-Fact-Conclusion) 추론으로 구성한다. Qwen3-8B 백본을 사용할 때 LEGO는 LawExamQA_Civil에서 40.53% exact-match 정확도를 달성하여, 평가한 RAG 및 CoT 베이스라인을 능가하고 평가한 더 큰 모델들과 유사한 성능을 보이며, 다중 홉 질문에서도 견고성을 유지한다. 또한 개방형 벤치마크에서 평가한 베이스라인 중 최고 결과를 달성한다. 절제 연구(ablation studies)는 두 모듈의 개별적이고 상호 보완적인 기여를 확인하며, LLM의 복잡한 법률 추론 능력 향상에서 LEGO의 효과를 보여준다. 코드와 데이터셋은 다음 링크에서 확인할 수 있다: https://github.com/BLK-WHT/LEGO

arXiv:2609.27225v1cs.CL공통 태그 Knowledge Graphs, Hallucination, Retrieval-augmented Generation

Meet, Compare, or Abstain: 지식 격자 위의 결정론적 멀티홉 질의응답을 위한 LatWeave

Meet, Compare, or Abstain: LatWeave for Deterministic Multi-Hop Question Answering on Knowledge Lattices

확률적 질의응답 시스템은 대규모 언어 모델(LLM) 자체이든, 검색-증강 생성(RAG)이든, 학습된 멀티홉 검색기이든 관계없이 "무엇이 알려져 있는가"와 "어떻게 추론하는가"를 하나의 확률적 계산으로 뒤섞는다. 그 결과 환각(hallucination)을 근절할 수 없고, 증거 사슬을 감사할 수 없으며, 시스템이 모르는 경우에도 답을 내놓는다. 본 논문은 지식을 다차원 지식 격자(knowledge lattice)로 조직하고 멀티홉 QA를 세 가지 결정론적 연산자, 즉 meet(제약 교집합), compare(격자 순서 비교), abstain(구조적 기권)으로 컴파일하는 LatWeave를 제안한다. LLM은 구축 단계(일회성 추출)와 질의 계획 단계에서만 사용되며, 답변 생성 경로는 LLM을 전혀 사용하지 않고, 태스크 학습도 필요 없으며, 처음부터 끝까지 감사가 가능하다. 이를 통해 웹에 게시된 지식에 대한 질의응답을 항목별로 재현할 수 있게 된다. 본 논문은 전면적인 SOTA를 주장하는 대신, 여섯 개의 공개 벤치마크에서 이 패러다임의 작동 범위(operating envelope)를 규명한다. 지식이 완전한 경우(MetaQA, 39,093개 질문) meet 연쇄는 3홉까지 거의 손실이 없으며(any-hit 0.9975, 완전 지도학습 KBQA와 대등), 템플릿 기반 멀티홉의 본거지(2WikiMultihopQA held-out, n=1,258)에서는 EM 0.865로 기존에 발표된 구조 증강 RAG 재현 결과를 크게 상회한다. 오픈 텍스트의 깊은 조합(MuSiQue)과 추출 커버리지 공백(HotpotQA)에서는 성능 저하를 있는 그대로 보고하며, 그 원인을 격자 대수 층 바깥에 있는 요인으로 귀속한다. 정보가 불완전한 경우(IIRC)에는 기권 정확도(abstain accuracy) 0.971, 누출률(leak rate) 0.029로 구조적 기권을 달성한다. 이 작동 범위 안에서 결정론적 실행은 성능 저하를 초래하지 않으며, 답변 경로의 모든 단계를 다시 계산할 수 있다. 이것이 바로 종단 간 감사 가능성의 원천이다.

arXiv:2609.27814v1cs.CL공통 태그 Knowledge Graphs, Hallucination, Retrieval-augmented Generation

LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크

LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law

법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.

arXiv:2607.22319v1cs.DB공통 태그 Knowledge Graphs, Hallucination, Retrieval-augmented Generation

신뢰할 수 있고 비용 효율적인 데이터 통합을 향하여: 순진한 RAG에서 에이전틱 RAG까지

Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG

대규모 언어 모델(LLM)과 AI 에이전트는 제로샷 및 퓨샷 설정에서 데이터 통합에 대한 강력한 잠재력을 보여주었다. 그러나 지속적인 지식 격차로 인해 기업 환경에서는 여전히 정확도와 비용 측면에서 상당한 과제에 직면하고 있다. 본 논문은 검색-증강 생성(RAG) 워크플로 내에서 동작하는 지식 그라운딩 LLM과 에이전트를 통해 신뢰할 수 있고, 확장 가능하며, 비용 효율적인 통합을 구상한다. 여기서 신뢰성은 증거에 기반한 검증 가능한 추론을 의미하며, 통합 결정이 검색된 지식에 의해 투명하게 뒷받침되고, 환각에 강건하며, 과제 간 일관성을 유지하는 것을 말한다. 우리는 고전적 RAG에서 GraphRAG 및 KG-RAG(지식 그래프 기반 RAG)로의 진화를 추적하며, 이러한 패러다임이 파라미터 지식과 문맥 지식을 어떻게 연결하는지 강조한다. 이 궤적을 바탕으로, 자율적 다중 에이전트 시스템이 복잡한 통합 과제를 위해 적응적으로 계획하고, 검색하고, 정제하고, 추론하는 에이전틱 RAG로의 전환을 탐구한다. 우리는 대규모 기업 환경에서의 계산 병목을 해결하는 비용 효율적 통합을 위한 최적화 전략을 검토한다. 마지막으로, 신뢰할 수 있고 설명 가능하며 확장 가능한 지식 그라운딩 통합 시스템 구축을 향한 미해결 과제와 향후 방향을 개괄한다.

arXiv:2607.20560v1cs.LG공통 태그 Knowledge Graphs, Hallucination, Retrieval-augmented Generation

Chronofy: 시간 인식 검색-증강 생성에서 정보 유효성을 위한 시간-논리 감쇠 아키텍처

Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation

검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM) 출력을 그라운딩하기 위해 외부 지식을 검색하고 통합한다. 그러나 현재 RAG 아키텍처는 시간적 출처와 관계없이 검색된 모든 사실을 동등하게 유효한 것으로 취급하여, 그럴듯하지만 구식인 사실이 출력을 오염시키는 시간적 환각(temporal hallucination)을 초래한다. 어제의 임상 검사 결과는 실행 가능하지만, 6개월 전의 동일한 검사 결과는 노이즈이다. 우리는 시간적 유효성을 RAG 시스템의 표현, 검색, 추론 층에 직접 내재화하는 시간-논리 감쇠 아키텍처(TLDA)를 구현하는 3층 신경-기호 프레임워크인 Chronofy를 제안한다. 층 1은 Matryoshka 임베딩 내에 전용 시간 부공간을 확보하여 사실의 시점이 표현에서 구조적으로 제거될 수 없도록 한다. 층 2는 그래프 기반 검색에 학습 가능한 지수 감쇠 함수를 통합하며, 여기서 감쇠 계수 $β_j$는 잠재 과정의 평균 회귀(mean-reversion)율의 2배에 대한 근사로서 베이지안 의사결정 이론에 기반한다. 층 3은 Signal Temporal Logic(STL) 견고성(robustness) 함수를 적용하여 LLM 출력 신뢰도가 아닌 검색된 지식의 시간적 유효성을 평가하고, 가능론적 최약 고리(weakest-link) 원칙을 적용하여 추론 사슬에서 가장 많이 감쇠된 증거에 의해 출력 신뢰도를 제한한다. 우리는 시간적 지식 그래프 예측 벤치마크, TimE 시간 QA 벤치마크, 도메인 특화 민감도 분석에서 Chronofy를 평가하였으며, 명시적 시간 감쇠 모델링이 검색 정밀도를 향상시키고 시간적 환각을 줄이며, 시간적 맥락이 불충분할 때 원칙적인 데이터 재획득 트리거를 가능하게 함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.