arXiv:2501.01743

Automating Legal Concept Interpretation with LLMs: Retrieval, Generation, and Evaluation

Kangcheng Luo, Quzhe Huang, Cong Jiang, Yansong Feng

제출 2025-01-03

원문 초록

Legal articles often include vague concepts to adapt to the ever-changing society. Providing detailed interpretations of these concepts is a critical task for legal practitioners, which requires meticulous and professional annotations by legal experts, admittedly time-consuming and expensive to collect at scale. In this paper, we introduce a novel retrieval-augmented generation framework, ATRI, for AuTomatically Retrieving relevant information from past judicial precedents and Interpreting vague legal concepts. We further propose a new benchmark, Legal Concept Entailment, to automate the evaluation of generated concept interpretations without expert involvement. Automatic evaluations indicate that our generated interpretations can effectively assist large language models (LLMs) in understanding vague legal concepts. Multi-faceted evaluations by legal experts indicate that the quality of our concept interpretations is comparable to those written by human experts. Our work has strong implications for leveraging LLMs to support legal practitioners in interpreting vague legal concepts and beyond.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02070v3cs.AI공통 태그 Retrieval, Retrieval-augmented Generation

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

arXiv:2610.03632v1cs.CV공통 태그 Retrieval, Retrieval-augmented Generation

월드 임베딩 벤치마크

World Embedding Benchmark

월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.

arXiv:2610.00872v1cs.AI공통 태그 Retrieval, Retrieval-augmented Generation

MemFit: 효율적인 장기 에이전트 메모리

MemFit: Efficient Long-Term Agentic Memory

대규모 언어 모델(LLM)을 위한 장기 메모리(long-term memory) 시스템은 다양한 애플리케이션 전반에서 추론 능력을 확장하기 위해 널리 활용되고 있습니다. 현재의 메모리 시스템은 메모리를 구성하고 통합하기 위해 LLM 에이전트에 의존하므로, 비용이 많이 들고 비효율적인 쓰기 연산이 발생합니다. 이러한 한계를 해결하기 위해, 대화형 에이전트의 메모리 연산 비용과 지연 시간을 줄여주는 장기 메모리 시스템인 MemFit을 제안합니다. 메모리 구축을 위해 값비싼 LLM 호출에 의존하거나 압축을 통해 표면적인 세부 정보를 버리는 기존 시스템과 달리, MemFit은 LLM 없이 거의 즉각적인 삽입이 가능한 추가 전용(append-only) 저장소에 각 턴을 원문 그대로 저장하며, 턴을 대체하는 대신 세그먼트 요약으로 색인화합니다. 또한, MemFit은 텍스트 및 멀티모달 환경 모두에서 캡션이 보강된 에피소드에 대해 어휘적·의미적 신호와 크로스 인코더 재순위화(reranking)를 결합하는 LLM 기반이 아닌 다중 경로 검색 전략을 사용합니다. 널리 사용되는 세 가지 벤치마크인 LoCoMo, MemGallery, LongMemEval-S에 대한 실증적 결과는 MemFit이 메모리 구축 시간과 비용을 수배 단축하면서도 최고 수준의 성능(SOTA)을 달성하여, 지속적인 에이전트 메모리를 위한 확장 가능하고 효율적인 설루션을 제공함을 보여줍니다.

arXiv:2609.27279v1cs.AI공통 태그 Retrieval, Retrieval-augmented Generation

EnSIMem: 장기 에이전트 메모리를 위한 개체 구조화 색인

EnSIMem: Entity-Structured Indexing for Long-Term Agent Memory

오랜 기간 동안 사용자와 상호작용하는 에이전트는 지속적으로 증가하는 상호작용 기록에서 사실, 선호도, 사건 및 변화를 상기(recall)할 수 있어야 합니다. 기존 메모리 시스템은 상호작용을 일반적인 요약본으로 압축하거나 익명의 텍스트 청크를 검색하는 경우가 많아, 에이전트가 올바른 개체(entity), 속성(property) 및 뒷받침하는 근거를 식별하기 어렵게 만듭니다. 본 논문에서는 에이전트를 위한 개체 구조화 장기 메모리 아키텍처인 EnSIMem을 제안합니다. 오프라인 구축 단계에서 이 시스템은 상호작용을 주제 일관성을 갖는 에피소드로 구성하고, [개체][개체 유형][속성:값] 형태의 대화 기반 색인 항목을 생성합니다. 각 항목은 원래의 대화 턴(turn), 시간 정보 및 사용 가능한 멀티모달 필드를 보존합니다. 온라인 상호작용 단계에서는 에이전트의 요청이 메모리 색인과 속성이 정렬된 근거 요구사항으로 분해됩니다. 이후 개체-속성 조회 및 적응형 검색을 통해 포인트, 시간적, 구성적, 집계 추론에 필요한 근거를 수집합니다. 에이전트는 정보 손실이 있는 메모리 요약본 대신 보존된 원본 근거로부터 응답을 생성합니다. 장기 에이전트 메모리 벤치마크에서 EnSIMem은 간결한 컨텍스트와 우수한 온라인 효율성을 유지하면서도 높은 답변 정확도를 달성합니다. 이러한 결과는 개체 구조화 색인과 에피소드 수준의 출처 추적이 에이전트의 장기 메모리를 위한 신뢰할 수 있는 기반을 제공함을 보여줍니다. 모델의 코드는 https://github.com/RamonMeng/EnSIMem 에서 확인할 수 있습니다.

arXiv:2609.27297v1cs.AI공통 태그 Retrieval, Retrieval-augmented Generation

대규모 지식 모델: 논문에서 과학적 추론 지형으로

Large Knowledge Model: From Papers to a Scientific Reasoning Landscape

축적된 과학적 지식은 이전의 발견이 연구자들로 하여금 새로운 연구 질문을 선택하고, 조사를 설계하며, 결과를 해석하는 데 기여할 때 학문적 탐구를 발전시킵니다. 이러한 가치를 대규모로 실현하려면 연구 문제, 과학적 절차, 결론, 그리고 증거를 연결하는 추론에 접근할 수 있어야 합니다. 본 연구에서는 학술 문헌을 공유 가능하고 계산적으로 접근 가능한 추론 자원으로 변환하는 과학적 지식 인프라인 대규모 지식 모델(Large Knowledge Model, LKM)을 소개합니다. LKM은 논문을 출처에 기반한(source-grounded) 추론 그래프로 표현하고, 동일한 객체에 대한 구조적 순회(structural traversal)와 의미론적 검색(semantic retrieval)을 결합하며, 여러 논문에 걸쳐 관련된 질문, 주장 및 추론 연쇄(reasoning chains)를 정렬합니다. 이러한 표현은 세 가지 연결된 뷰로 구성된 과학적 추론 지형(Scientific Reasoning Landscape)을 형성합니다. 즉, 연구 문제와 미해결 연구 방향을 구성하는 질문 지형(Question Landscape), 재사용 가능한 과학적 절차를 제시하는 워크플로 지형(Workflow Landscape), 결론을 그에 대한 지지, 불일치 및 조건과 연결하는 증거 지형(Evidence Landscape)입니다. 이 통합된 기반은 추론을 인식하는 과학적 검색, 증거 기반 질의응답, 비교 증거 분석, 연구 계획 수립을 지원합니다. 연구자와 에이전트(agent)는 과학적 의도를 통해 관련 연구를 검색하고, 검토 가능한 뒷받침 논거를 바탕으로 답변을 종합하며, 기존 워크플로와 아직 해결되지 않은 증거를 참고하여 연구 계획을 개발할 수 있습니다. 본 연구에서는 코퍼스 규모의 시스템을 설명하고, 과학적 검색 및 지식 집약적 질의응답을 평가합니다. 답변 모델을 고정한 상태에서 LKM 검색은 ChemBench, PubMedQA, SciBench에서 각각 9.30%, 4.20%, 14.69%의 정확도 향상을 달성합니다. 지식 접근을 과학적 추론 및 행동과 연결함으로써, LKM은 관련 연구 탐색, 과학적 지식 재사용, 그리고 연구자, 에이전트, 연구 주기 전반에 걸친 누적적 탐구 조율을 위한 공통 기반을 제공합니다.

arXiv:2609.26634v1cs.CL공통 태그 Retrieval, Articles

지속적 문서 작성을 위한 지식 풀 리퀘스트(Knowledge Pull Requests)

Knowledge Pull Requests for Continual Document Authoring

우리는 각 변경 사항을 해석 가능하게 만드는 지속적 문서 작성(continual document authoring) 프레임워크인 지식 풀 리퀘스트(Knowledge Pull Requests, KPR)를 소개한다. 문서는 다른 출처, 언어 또는 시점에서 새로운 지식이 나타남에 따라 지속적인 수정이 필요하지만, 기존 접근법은 어떤 지식이 바뀌었는지에 대한 설명 없이 편집하거나 처음부터 다시 생성한다. KPR은 주장(claim)을 추출하고, 이를 필터링하여 각 섹션으로 라우팅하며, 기존 내용과의 충돌을 표시함으로써 새로운 지식을 문서에 통합한다. 그 결과 어떤 지식이 바뀌는지(주장 제안)와 텍스트가 어떻게 바뀌는지(문서 diff)를 분리하는 ChangeLog를 생성한다. 우리는 언어 간 위키백과(Wikipedia) 수정과 RAGTIME에서의 쿼리 기반 보고서 업데이트를 통해 KPR을 평가한다. KPR은 출처로부터 다시 작성하거나 처음부터 다시 생성하는 방식보다 더 많은 정보를 통합하고 기존 내용을 더 잘 보존하며, 생성된 토큰당 추가되는 정보량은 가장 많다. 또한 KPR로 수정된 문서는 검색을 사용하는 최첨단 모델(frontier model)보다 질의응답의 그라운딩(grounding)을 더 잘 수행하는데, 검색을 사용하는 최첨단 모델은 다른 언어로만 기록된 지식을 찾아내지 못한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.