Lexical-Morphological Modeling for Legal Text Analysis
원문 초록
In the context of the Competition on Legal Information Extraction/Entailment (COLIEE), we propose a method comprising the necessary steps for finding relevant documents to a legal question and deciding on textual entailment evidence to provide a correct answer. The proposed method is based on the combination of several lexical and morphological characteristics, to build a language model and a set of features for Machine Learning algorithms. We provide a detailed study on the proposed method performance and failure cases, indicating that it is competitive with state-of-the-art approaches on Legal Information Retrieval and Question Answering, while not needing extensive training data nor depending on expert produced knowledge. The proposed method achieved significant results in the competition, indicating a substantial level of adequacy for the tasks addressed.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
Disentangled Self-Supervision in Sequential Recommenders
치의학 교육에서 읽기 자료와 학습 목표의 정렬 및 주제 균형 평가를 위한 자연어 처리
Natural Language Processing for Aligning Readings with Learning Objectives and Assessing Topic Balance in Dental Education
교육과정 개발팀은 지정된 읽기 자료가 학습 목표(LO)를 뒷받침하는지, 그리고 주제 범위가 균형 있게 다루어지는지 검토할 시간이 부족한 경우가 많습니다. 본 연구에서는 근거 기반의 읽기 자료 목록 큐레이션을 지원하는 자연어 처리(NLP) 워크플로를 제시합니다. 이 워크플로는 검색을 위한 PubMedBERT 문장 임베딩(embedding) 및 코사인 유사도, 근거 확인을 위한 자연어 추론(NLI), 그리고 범위 분석을 위한 토픽 모델링을 결합합니다. 치의학 교육 분야에서 13개의 강좌 수준 LO와 PubMed 기반의 3,837개 LO-초록 쌍으로 구성된 코퍼스를 활용해 이 접근법을 테스트했습니다. 13개 LO 전반에서 중앙값 코사인 유사도는 0.86에서 0.91 사이로 나타나 전반적으로 높은 의미적 유사성을 보였습니다. 토픽 모델링 결과 영역별로 1~2개의 지배적인 토픽이 나타나며 범위는 넓으나 불균형한 것으로 확인되었습니다. 읽기 자료를 선정하는 데는 유사도만으로는 충분하지 않았습니다. 높은 유사도를 보인 쌍(코사인 0.90~1.00) 중 22.9%가 NLI에 의해 중립(neutral) 또는 모순(contradictory)으로 분류되었습니다. 전문가가 라벨링한 49개 쌍의 검증(validation) 세트에서 코사인 기반 검색(코사인 >= 0.90)은 0.69의 정확도를 기록한 반면, 코사인과 NLI를 결합한 접근법은 전문가 정렬(alignment) 라벨 대비 0.73의 정확도를 달성했습니다. 전반적으로 이 워크플로는 오탐(false positive)을 줄이고 의도한 LO에 더 잘 부합하는 읽기 자료 선정을 지원함으로써 AI가 교육과정 정렬을 어떻게 도울 수 있는지 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.