Document-Level $N$-ary Relation Extraction with Multiscale Representation Learning
원문 초록
Most information extraction methods focus on binary relations expressed within single sentences. In high-value domains, however, $n$-ary relations are of great demand (e.g., drug-gene-mutation interactions in precision oncology). Such relations often involve entity mentions that are far apart in the document, yet existing work on cross-sentence relation extraction is generally confined to small text spans (e.g., three consecutive sentences), which severely limits recall. In this paper, we propose a novel multiscale neural architecture for document-level $n$-ary relation extraction. Our system combines representations learned over various text spans throughout the document and across the subrelation hierarchy. Widening the system's purview to the entire document maximizes potential recall. Moreover, by integrating weak signals across the document, multiscale modeling increases precision, even in the presence of noisy labels from distant supervision. Experiments on biomedical machine reading show that our approach substantially outperforms previous $n$-ary relation extraction methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
중요한 것을 실현하기: 대규모 추론을 위한 원칙 기반 컨텍스트 표현
Realize What Matters: Principled Context Representation for Large-Scale Reasoning
과학, 의학, 법률, 금융 등의 영역에서 복잡한 과제를 해결하려면 종종 모델의 컨텍스트 한계를 훨씬 넘어서는 광대하고 이질적인 출처에 흩어진 상호 의존적인 정보를 조합해야 한다. 기존 접근법은 그래프, 텍스트 메모리, 검색 컬렉션 등 모델이 추론할 수 있는 더 다루기 쉬운 표현으로 정보를 구성하여 이 과제에 대응한다. 이러한 표현은 어떤 후속 추론이 가능한지, 궁극적으로 성공 여부를 좌우하지만, 그 설계와 구축은 대체로 임의적(ad hoc)으로 이루어진다. 본 연구에서는 관련성 실현(relevance realization)의 인지 이론에 기초하여, 매우 큰 컨텍스트의 효과적인 표현을 구성하는 AI 시스템 설계를 위한 구체적 원칙을 제안한다. 기존 접근법을 분석하고 그 성공과 실패가 이러한 원칙과의 정렬(alignment)에 어떻게 대응되는지 보이며, 원칙을 보다 체계적으로 실행 가능하게 하도록 설계된 하네스 R3Con을 소개한다. R3Con을 대규모 문서 코퍼스에 대한 추론을 다룬 최근 벤치마크 두 개에서 아홉 개의 최신 기준선과 비교 평가한다. 이 벤치마크에서 R3Con은 가장 강한 기준선보다 각각 20 및 8.4 퍼센트포인트만큼 크게 우수한 성능을 보인다. 또한 더 작은 모델이 훨씬 큰 모델보다 나은 성능을 내도록 한다: 4B 및 9B 모델을 사용한 R3Con은 평가된 모든 35B 기준선을 능가하고, 35B-A3B 모델을 사용한 R3Con은 Claude-Sonnet-5를 사용한 Claude Code보다 3.7배 낮은 비용으로 더 나은 성능을 보인다. 결과는 우리의 원칙적 접근을 따르는 컨텍스트 표현이 모델 규모에 대한 의존을 줄일 수 있음을 보여주며, 더 작은 모델로 구동되는 프론티어 수준 성능의 AI 시스템의 미래를 가리킨다. 코드는 https://github.com/michaeltheologitis/r3con 에서 제공된다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
Representation Learning through Multimodal Attention and Time-Sync Comments for Affective Video Content Analysis
Document-Level Relation Extraction with Structure Enhanced Transformer Encoder
Generative Adversarial Framework for Cold-Start Item Recommendation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.