Legal Document Retrieval using Document Vector Embeddings and Deep Learning
원문 초록
Domain specific information retrieval process has been a prominent and ongoing research in the field of natural language processing. Many researchers have incorporated different techniques to overcome the technical and domain specificity and provide a mature model for various domains of interest. The main bottleneck in these studies is the heavy coupling of domain experts, that makes the entire process to be time consuming and cumbersome. In this study, we have developed three novel models which are compared against a golden standard generated via the on line repositories provided, specifically for the legal domain. The three different models incorporated vector space representations of the legal domain, where document vector generation was done in two different mechanisms and as an ensemble of the above two. This study contains the research being carried out in the process of representing legal case documents into different vector spaces, whilst incorporating semantic word measures and natural language processing techniques. The ensemble model built in this study, shows a significantly higher accuracy level, which indeed proves the need for incorporation of domain specific semantic similarity measures into the information retrieval process. This study also shows, the impact of varying distribution of the word similarity measures, against varying document vector dimensions, which can lead to improvements in the process of legal information retrieval.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
CoVeR: 에이전트형 검색에서 커버리지 기반 검증기 호출 라우팅
CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval
에이전트형 검색(agentic retrieval) 시스템은 일련의 검색 쿼리를 발행하며, 각 단계에서 지금까지 수집한 증거가 검색을 멈추기에 충분한지 판단해야 한다. 이 판단을 LLM 검증기(verifier)나 프롬프트 판정기(prompt judge)에 위임하면 중단 시점 결정이 신뢰할 수 있게 되지만, 검증기가 매 검색 단계마다 계속 늘어나는 증거를 다시 처리해야 하므로 상당한 반복 비용이 발생한다. 본 논문은 이러한 호출 대부분을 답변 정확도를 실질적으로 변화시키지 않고 생략할 수 있음을 보인다. 고정된(frozen) 문장 임베딩 커버리지 마진(coverage margin)에 대한 단일 임계값만으로 증거가 아직 명백히 불완전한 상태를 탐지할 수 있으며, 검증기는 나머지 모호한 경우에만 호출된다. 우리는 이러한 게이트를 CoVeR(Coverage-based Verifier Routing, 커버리지 기반 검증기 라우팅)라고 부른다. 전체 규모 실험 이전에 평가 프로토콜을 고정한 상태에서 세 가지 멀티홉 QA 벤치마크를 대상으로 실험한 결과, CoVeR 게이트를 적용한 에이전트는 전체 예산(full-budget) 에이전트 및 항상 검증하는(always-verify) 기준선 모두와 EM 1점 미만의 차이 이내로 동등한 답변 정확도를 보였다. 이 방식은 검증기 호출을 62-68% 줄이며, 포화(saturated) 환경에서는 93%까지 줄인다. 증거 개수, 어휘 중첩(lexical overlap), BM25 관련도에 기반한 라우터는 단독으로 사용하거나 결합하여 학습하더라도 전반적인 트레이드오프가 더 열등했다. 또한 이 게이트는 재튜닝 없이 판정기(decider)와 에이전트 규모 전반에 걸쳐 전이되며, 그 드래프터(drafter)는 고정된 인코더 위에 얹은 921k 매개변수 헤드로 지식 증류(distillation)할 수 있어 라우팅 루프에 LLM이 전혀 필요하지 않다. 다만 동일한 신호가 검증 자체를 대체할 수는 없다. 주장과 일치하는 내용을 찾는 것이 그 주장이 뒷받침된다고 판단하는 것보다 훨씬 쉽기 때문이다.
학술 출판 네트워크에 대한 시맨틱 접근법: OpenAlex 데이터 기반 문서 벡터 표현 및 하이브리드 구조적-시맨틱 융합
A Semantic Approach to the Academic Publishing Network: Document Vector Representations and Hybrid Structural-Semantic Fusion over OpenAlex Data
학술 출판 네트워크에 대한 구조적 그래프 분석은 엔티티 간의 위상학적 관계를 포착하지만 연구 저작물의 내용은 파악하지 못합니다. 본 연구는 기존 구조적 접근법을 바탕으로 시맨틱 층(layer)과 매개변수화된 구조적-시맨틱 융합을 통해 이를 보완합니다. 우리는 과학 문헌을 인용 정보 기반 벡터 임베딩(SPECTER2)으로 표현하고, 고유한 OpenAlex ID를 키로 하여 임베디드 벡터 데이터베이스에 저장함으로써 그래프 층과 직접 연결되도록 합니다. 또한 시맨틱 유사도(임베딩의 코사인 유사도)와 구조적 유사도(서지 결합)를 특정 태스크에 따라 값이 선택되는 조정 가능한 가중치(weight) 알파(alpha)로 결합하는 모듈형 후기 융합 함수를 정의합니다. VSB - Technical University of Ostrava 코퍼스를 대상으로 두 가지를 보여줍니다. 즉, 인용 정보 기반 임베딩은 TF-IDF 기준선(baseline)보다 전문가가 구축한 OpenAlex 주제 분류 체계와 더 잘 일치하며, 추천 활용 사례에서는 가용 데이터에 따라 구조적, 시맨틱 및 결합된 신호가 서로 다른 체계에서 정보를 전달한다는 점입니다. 여기서 하이브리드 융합은 보편적으로 더 우수한 방법이라기보다는 태스크에 맞추어 상호 보완적인 신호를 제어하기 위한 명시적 메커니즘입니다. 우리는 재현 가능한 워크플로와 함께 전체 접근법을 apnet 라이브러리의 오픈 소스 확장으로 공개합니다.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
의미 기반 후보자-직무 매칭: 하이브리드 검색에서 밀집 임베딩 모델의 비교 평가
Semantic Candidate-Job Matching: A Comparative Evaluation of Dense Embedding Models in Hybrid Retrieval
본 논문은 대량 채용 워크플로에서 의미적 후보자-직무 매칭을 위한 밀집 임베딩 모델에 대한 비교 평가를 제시한다. 유입되는 직무 기술서는 LLM 기반 파싱을 통해 구조화된 영어 검색 텍스트와 언어별 키워드로 변환되며, 후보자 프로필은 의미적으로 강화된 이력서 표현으로 색인된다. 벡터 유사도와 전문(full-text) 관련성을 상호 순위 융합(RRF)으로 결합하는 통합 하이브리드 검색 파이프라인 안에서 EmbeddingGemma(base)와 Cached Multiple Negatives Ranking Loss(MNRL)로 미세조정한 EmbeddingGemma를 비교 평가하고, 배포된 직무-후보자 매칭 채점 파이프라인으로 점수를 매긴 배치 비교 평가 데이터셋에서 둘 다 MPNet 모델과 벤치마크한다. 또한 모델 개발 과정에서 검토한 대조(contrastive) 미세조정 목표의 더 넓은 집합(AnglE/CoSENT 스타일 정제 포함)을 수학적으로 상세히 기록하고, 선호 구성으로 Cached-MNRL-only 적응만 유지한 경험적 근거를 제시한다. 재현 가능한 모델 선택을 지원하기 위해 동일한 하이브리드 검색 프로토콜 하에서 표준 정보 검색 지표(재현율@K, mean reciprocal rank, nDCG)를 포함하는 더 넓은 평가 프레임워크를 정의하되, 본 논문에서 보고하는 평가에 실제로 사용한 지표는 미세조정 수렴 진단과 배포된 AI-Match 점수 및 독립적인 LLM-as-a-Judge 관련성 점수를 활용한 배치 비교 평가이며, 전체 프레임워크를 측정한 것처럼 암시하지 않고 이 범위를 명시적으로 밝힌다. 본 논문은 범용 임베딩 벤치마크와 기업 환경의 직무-후보자 매칭 제약 사이의 간극을 다루며, 현실적인 직무-후보자 검색 조건에서 임베딩 전략을 비교할 수 있는 구조화된 기반을 제공한다.
SemDHT: 정확 키 DHT 기반 P2P 에이전트 네트워크를 위한 인증된 시맨틱 탐색
SemDHT: Certified Semantic Discovery for Peer-to-Peer Agent Networks over Exact-Key DHTs
에이전트는 외부 에이전트 엔드포인트나 서비스 API를 통해 제공되는 기능을 필요로 할 수 있습니다. 요청자가 제공자와 사전에 연결되어 있지 않은 경우, 자신의 작업 및 인터페이스 요구사항과 일치하는 공표된 기능을 탐색해야 합니다. 정확 키(exact-key) 분산 해시 테이블(DHT) 환경에서 광범위한 검색은 대규모 후보 목록을 전송하게 되는 반면, 선별적 검색은 관련 제공자를 놓치거나 더 많은 복제 및 조회를 요구할 수 있습니다. 또한 개방형 게시 환경에서는 게시 한도를 강제할 수 없는 한 제공자가 자신의 노출을 과도하게 부풀릴 수 있습니다. 본 논문에서는 정확 키 DHT 기반으로 에이전트가 접근 가능한 기능을 탐색하기 위한 인증된 시맨틱 인덱스인 SemDHT를 제안합니다. 2개 층으로 이루어진 시맨틱 스케치는 대략적인 셀을 사용하여 인접한 기술자(descriptor)를 그룹화하고, 잔여 코드를 활용해 후보 선별 범위를 좁힙니다. 제공자는 제한된 파생 키 집합에 게시하며, 요청자는 조회 예산 내에서 더 넓은 재현율(recall) 키에 앞서 정밀도(precision) 키를 먼저 탐색합니다. 앵커 위원회는 각 기술자의 게시 키 집합을 인증하여 스토리지 서비스와 요청자가 기술자와 키 간의 일관성을 강제할 수 있도록 지원합니다. 실제 API 기술자 및 작업 질의를 대상으로 한 평가에서, SemDHT는 정확한 임베딩(embedding) 공간 이웃에 대해 0.955의 recall@10을, ToolBench 관련성 레이블에 대해 0.947의 recall@10을 달성했습니다. 밀도 증강이 제어된 코퍼스에서는 0.95의 재현율에서 7.7배 적은 조회 수로 DHT 기반 튜닝된 위치 민감도 해싱(LSH)의 후보 노출 수준을 달성하며, 게시 팬아웃(fan-out)을 16에서 10으로 줄였습니다. 동일 리전 및 크로스 리전으로 구성된 200개 피어 클라우드 오버레이에 배포된 Go/libp2p 프로토타입을 통해 299개의 인터넷 질의를 재현한 결과, 병렬 탐색 및 콜드 인증서 캐시 환경에서 SemDHT는 LSH 대비 각각 3.64배 및 4.11배의 평균 완료 시간 속도 향상을 달성했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.