Logician: A Unified End-to-End Neural Approach for Open-Domain Information Extraction
원문 초록
In this paper, we consider the problem of open information extraction (OIE) for extracting entity and relation level intermediate structures from sentences in open-domain. We focus on four types of valuable intermediate structures (Relation, Attribute, Description, and Concept), and propose a unified knowledge expression form, SAOKE, to express them. We publicly release a data set which contains more than forty thousand sentences and the corresponding facts in the SAOKE format labeled by crowd-sourcing. To our knowledge, this is the largest publicly available human labeled data set for open information extraction tasks. Using this labeled SAOKE data set, we train an end-to-end neural model using the sequenceto-sequence paradigm, called Logician, to transform sentences into facts. For each sentence, different to existing algorithms which generally focus on extracting each single fact without concerning other possible facts, Logician performs a global optimization over all possible involved facts, in which facts not only compete with each other to attract the attention of words, but also cooperate to share words. An experimental study on various types of open domain relation extraction tasks reveals the consistent superiority of Logician to other states-of-the-art algorithms. The experiments verify the reasonableness of SAOKE format, the valuableness of SAOKE data set, the effectiveness of the proposed Logician model, and the feasibility of the methodology to apply end-to-end learning paradigm on supervised data sets for the challenging tasks of open information extraction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
CoRe: 비전-언어 모델에서의 이미지 간 비교 추론을 위한 포괄적 프레임워크
CoRe: A Comprehensive Framework for Cross-Image Comparative Reasoning in Vision-Language Models
이미지 간 비교 추론은 비전-언어 모델(VLM)에서 여전히 어려운 과제이며, 특히 정확한 예측을 위해 세밀한 속성 그라운딩(grounding)과 전역적으로 일관된 추론이 필요할 때 더욱 그렇다. 우리는 이 문제를 위한 통합 프레임워크인 CoRe를 제안한다. CoRe는 다음을 포함한다: (i) CoRe-20K — 다중 전문가 협업 파이프라인을 통해 구조화된 시각 메타데이터로부터 자동 구축된 대규모 트리플릿 기반 학습(training) 데이터셋으로, 계수, 깊이, 거리, 공간 관계를 포괄한다; (ii) TriSR — GRPO 최적화(optimization) 하에서 속성 그라운딩, 판단 정렬(alignment), 트리플릿 일관성을 공동으로 감독하는 구조화된 보상(reward) 프레임워크; (iii) CoRe-Bench — 세밀한 이미지 간 비교 추론에 특화된 최초의 벤치마크(benchmark). 실험 결과 CoRe는 CoRe-Bench에서 기존 VLM을 크게 능가하면서 표준 멀티모달 벤치마크에서도 경쟁력을 유지하며, 가장 강한 기준선(baseline) 대비 부분 정확도에서 28.2점 향상을 달성했다.
자동차 정비 지침으로부터 상보적 행동 모델링 학습
Learning Complementary Action Modeling from Automotive Maintenance Instructions
미세한 어휘 변화는 문장의 나머지 부분이 변하지 않더라도 지침의 절차적 의미를 뒤집을 수 있다. 자동차 정비 지침에서는 행동 구가 지침을 그 절차적 대응으로 바꿀 때 이 패턴이 자주 나타난다. 개체, 수식어, 주변 문맥은 대체로 불변인 반면, 행동 구가 절차적 관계를 결정한다. 우리는 이 과제를 상보적 행동 모델링(Complementary Action Modeling, CAM)으로 정의한다. 정비 지침이 주어지면, 나머지 문장 문맥을 보존하면서 행동 구를 수정하여 그 절차적 대응을 식별하거나 생성하는 것이 목표이다. 이 과제는 세 가지 측면에 초점을 맞춘다: 상보성을 표면적 유사성과 구별하는 것, 행동 구 수준에서 생성을 제어하는 것, 검색(retrieval), 중첩 기반(overlap-based), 인간 평가를 통한 관계적 정확성 평가. 독일어 자동차 정비 데이터셋을 사용하여, 후보 매칭과 제어된 Seq2Seq 생성을 통해 이러한 질문들을 검토한다. 결과는 상보적 정비 지침이 미묘한 어휘 단서에 기반한 절차적 연관으로 모델링되는 것이 가장 적합함을 보여준다. 따라서 이들은 문장 유사성이나 동의어 기반 패러프레이징(paraphrasing)의 일반적인 사례로 취급되어서는 안 된다.
DocIE@XLLM25: In-Context Learning for Information Extraction using Fully Synthetic Demonstrations
Multiple Streams of Relation Extraction: Enriching and Recalling in Transformers
Document-Level Relation Extraction with Structure Enhanced Transformer Encoder
토론
이 논문과 연결된 포럼 글이 아직 없습니다.