Canonicalizing Open Knowledge Bases with Multi-Layered Meta-Graph Neural Network
원문 초록
Noun phrases and relational phrases in Open Knowledge Bases are often not canonical, leading to redundant and ambiguous facts. In this work, we integrate structural information (from which tuple, which sentence) and semantic information (semantic similarity) to do the canonicalization. We represent the two types of information as a multi-layered graph: the structural information forms the links across the sentence, relational phrase, and noun phrase layers; the semantic information forms weighted intra-layer links for each layer. We propose a graph neural network model to aggregate the representations of noun phrases and relational phrases through the multi-layered meta-graph structure. Experiments show that our model outperforms existing approaches on a public datasets in general domain.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
BIOSSES: A Semantic Sentence Similarity Estimation System for the Biomedical Domain
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
레이아웃 인지 정렬과 구조 인지 추론을 통한 이질적 요소 인지 과학 문서 교차 버전 차이 분석
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
과학 문서의 교차 버전 차이 분석은 학술 출판 및 기술 문서화에서 필수적이지만, 과학 문서가 텍스트, 표, 수식, 그림, 레이아웃 단서와 같은 이질적 요소를 포함하는 페이지 구조 산출물이기 때문에 여전히 어려운 과제로 남아 있다. 기존의 텍스트 시퀀스 기반 방법은 종종 레이아웃 및 구조 정보를 잃는 반면, 이미지 기반 방법은 의미적 해석 가능성이 부족하고 렌더링 변화에 민감하다. 이러한 한계를 해결하기 위해, 본 논문은 과학 문서 차이 분석을 위한 레이아웃 인지 이질적 요소 인지 프레임워크를 제안한다. 이 프레임워크는 문서 버전을 의미적으로 유형화된 요소로 분해하고, 공간적·내용적·구조적 호환성을 공동으로 모델링하는 정렬 우선(alignment-first) 메커니즘을 통해 교차 버전 대응 관계를 수립하며, 정렬된 요소 쌍에 대해 유형 인지(type-aware) 차이 추론을 수행한다. 이는 텍스트, 표, 수식, 그림에 걸쳐 통합된 변경 탐지, 위치 특정(localization), 구조 인지(structure-awareness) 분석, 정렬/매칭 평가를 지원한다. 학술지 제작 교정(proofreading) 워크플로우에서 수집한 실제 과학 PDF 데이터에 대한 실험 결과, 제안된 프레임워크가 요소별 베이스라인을 일관되게 능가함을 보여준다. 텍스트, 표, 수식, 그림에 대해 각각 탐지 F1 점수 0.903, 0.855, 0.862, 0.845를 달성했으며, 위치 특정, 구조 인지, 매칭 품질에서도 추가적인 향상을 보였다. 소거(ablation) 및 민감도 분석은 교차 버전 정렬, 유형별 표현, 구조 인지 추론, 호환성 가중치 설계의 효과를 확인한다. 이러한 결과는 이질적 요소 인지 차이 분석이 실제 편집 제작 시나리오에서 과학 문서 비교를 위한 견고하고 해석 가능한 솔루션을 제공함을 보여준다.
PRecG: 그래프 신경망과 수사적 역할 분할을 활용한 법률 판례 검색
PRecG: Legal Precedent Retrieval with Graph Neural Networks and Rhetorical Role Segmentation
법률 판례 검색은 법적 사건 준비, 계획 수립, 소송 전략, 법률 연구에서 핵심적인 과제이다. 현재의 자동 판례 검색 방식은 법률 문서를 저차원 의미 공간에 매핑하고 표현 간의 근접성을 기반으로 유사도를 계산한다. 이러한 방식은 법률 문서를 단일체 텍스트로 취급하여 법적 기술 사항의 수사적 구조를 무시한다. 따라서 미묘한 법적 의미를 간과하고, 문서 내 수사적 역할에 따라 달라지는 법률 개체 및 개념의 맥락적 중요성을 구별하지 못한다. 이러한 한계를 해결하기 위해, 우리는 법률 판결문 쌍 간의 유사도를 계층적 표현 학습을 통해 계산하는 PRecG 파이프라인을 제안한다. 이 과정은 문장의 수사적 역할에 따라 각 문서를 개별 의미 단위(세그먼트)로 분해하는 것에서 시작된다. 각 수사적 세그먼트에 대해 세그먼트 내 법률 개체와 그 관계를 포착하는 지식 그래프를 구성한다. 이후 개체의 맥락적 표현을 학습하고 집계하여 세그먼트 수준의 임베딩을 도출한다. 이 임베딩들을 추가로 통합하여 통합된 문서 수준의 표현을 생성하고, 최종적으로 문서 쌍 간의 의미적 유사도를 계산한다. 제안된 방식의 성능은 인도 법률 벤치마크 데이터셋에 대한 광범위한 실험을 통해 검증하였으며, 최신 기준 모델들과 비교하여 그 효과를 입증하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.