한국어 초록
페르시아 법률 분야에서 검색 증강 생성(RAG) 시스템을 평가하는 일은 벤치마크가 현실성, 근거성, 법적 추론의 포괄성을 갖추지 못해 여전히 어렵다. 기존 자원은 법령 텍스트로부터 합성적으로 생성되어 자연스러운 정보 요구가 없거나, 권위 있는 법률 문서와의 명시적 연결 없이 비공식 법률 질의응답 출처에서 도출되어, 근거 기반 법적 추론을 엄밀하게 평가하기에 적합하지 않다. 이러한 공백을 해소하기 위해 우리는 RAG 기반 시스템 평가를 위해 설계된 구조화된 페르시아 법률 벤치마크 TUSI-Bench를 소개한다. TUSI-Bench는 7,261개의 법조문을 담고 성문 법령, 법률 주석서, 학설 문헌, 대법원 통일 판결을 통합한 다층 법률 지식 체계 위에 구축되었다. 또한 구조 인식 검색을 위해 조문과 개념을 연결하는 법률 지식 그래프를 구축한다. 이를 기반으로 TUSI-Bench는 서로 보완적인 두 가지 평가 과제를 제공한다. (i) 명시적 법적 인용이 포함된 근거 기반 응답을 요구하는 1,999개 질문의 개방형 질의응답 벤치마크 TUSI-QA, (ii) 이란 변호사 시험 문제에서 도출한 약 500개의 4지선다 문제로 구성된 객관식 벤치마크 TUSI-Bar이다. 나아가 법률 지식 그래프 내의 관계 구조를 활용하는 그래프 기반 검색 기준선을 제안한다. 실험 결과, 그래프 기반 관계를 도입하면 표준 기준선에 비해 검색 재현율이 최대 8퍼센트포인트 향상되어 RAG 시스템에서 구조화된 법률 표현의 중요성을 보여 준다. 제안한 벤치마크는 페르시아어 근거 기반 법적 추론을 평가하기 위한 표준화된 자원을 제공하며 구조화된 법률 지능에 대한 향후 연구를 가능하게 한다.
원문 초록
Evaluating retrieval-augmented generation (RAG) systems in Persian law remains challenging because benchmarks lack realism, grounding, and coverage of legal reasoning. Existing resources are either synthetically generated from statutory texts, lacking natural information needs, or derived from informal legal question--answer sources without explicit linkage to authoritative legal documents, making them unsuitable for rigorous evaluation of grounded legal reasoning. To address this gap, we introduce TUSI-Bench, a structured Persian legal benchmark designed for the evaluation of RAG-based systems. TUSI-Bench is built upon a multi-layered legal knowledge framework containing 7,261 legal articles and integrating codified statutes, legal commentaries, doctrinal writings, and Supreme Court unification rulings. We also construct a legal knowledge graph linking articles and concepts for structure-aware retrieval. Based on this foundation, TUSI-Bench provides two complementary evaluation tasks: (i) TUSI-QA, an open-ended question answering benchmark containing 1,999 questions that requires grounded responses with explicit legal citations, and (ii) TUSI-Bar, a multiple-choice benchmark containing approximately 500 four-option questions derived from Iranian Bar examination questions. Furthermore, we propose a graph-based retrieval baseline that leverages relational structure within the legal knowledge graph. Experimental results demonstrate that incorporating graph-based relations improves retrieval recall by up to 8 percentage points compared to standard baselines, highlighting the importance of structured legal representations for RAG systems. The proposed benchmark provides a standardized resource for evaluating grounded legal reasoning in Persian and enables future research on structured legal intelligence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21823v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.