arXiv:2607.01762v1 cs.LG

Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning

He Huang, Lu Shen, Yunfeng Huang, Li Qi

제출 2026-07-02

원문 초록

Many representation learning problems involve directed relations, such as lexical entailment, sentence entailment, ontology hierarchy, and citation links. Standard Euclidean, cosine, and Mahalanobis heads are symmetric, while generic neural scorers can model directionality but provide limited geometric structure. This paper proposes a role-aware neural convex divergence head for asymmetric representation learning. The head applies source- and target-role projections before evaluating an input-convex neural Bregman divergence, yielding a nonnegative structured score in the role-projected space. We characterize its projected-space identity, source-role convexity, directional-gap decomposition, and Hessian-based local curvature. Experiments on lexical, sentence, ontology, and directed graph benchmarks compare symmetric distances, unstructured asymmetric scorers, order/hyperbolic baselines, plain ICNN-Bregman heads, and the proposed role-aware variant. Across ten random seeds on the main semantic and ontology benchmarks, role-aware projections consistently improve directional accuracy over plain ICNN-Bregman heads while preserving zero observed negative divergence rate. The results also identify a boundary case: on large fixed-feature citation prediction, specialized symmetric or hyperbolic baselines remain stronger in ranking accuracy. Overall, the proposed head is best understood as a structured and interpretable plug-in distance module for tasks where directional relations matter.

요약

방향성 관계(어휘 포함 관계, 문장 함의, 온톨로지 계층, 인용 링크 등)를 위한 비대칭 표현 학습(asymmetric representation learning)에서, 기존 대칭 거리 함수의 한계를 극복하고자 소스·타겟 역할 투영(role projection)을 ICNN 기반 Bregman 발산에 결합한 역할 인식 신경 볼록 발산 헤드(role-aware neural convex divergence head)를 제안한다. 주요 의미론 및 온톨로지 벤치마크에서 10개의 랜덤 시드 실험 결과, 제안 방법은 음의 발산 없이 일반 ICNN-Bregman 헤드 대비 방향 정확도를 일관되게 향상시키는 플러그인 모듈로 활용될 수 있음을 보인다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.01762v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22781v1cs.LG공통 태그 Knowledge Graphs, Link Prediction, Graph Learning

소프트맥스가 버리는 것: 증거 누적을 위한 질량 인식 어텐션

What Softmax Throws Away: Mass-Aware Attention for Evidence Accumulation

높은 태스크 성능은 모델이 내부 표현에서 예측과 관련된 구조적 정보를 유지하는지 여부를 보여주지 않는다. 예를 들어, 시간 그래프 모델은 높은 future-link AUC를 달성할 수 있지만, 동일한 표현에서 기본 그래프 통계를 복원하는 것은 여전히 어렵다. 우리는 이러한 격차의 한 원인을 표준 어텐션에서 사용하는 가중 평균에서 찾는다. 증거 패턴이 반복되면 분자와 분모가 같은 속도로 증가하므로, 누적된 증거의 양이 다른 입력들이 동일한 집계값을 만들 수 있다. 우리는 표준 L1 정규화를 Lp 계열로 일반화하는 Mass-Aware Attention(MAA)을 제안한다. 반복 상황에서 MAA는 분자와 분모가 서로 다른 속도로 스케일되게 하여, 표현 크기에 기여하는 입력의 유효 개수를 표현 크기에 유지한다. MAA는 추가적인 지도, 파라미터, 은닉 차원, 또는 명시적 개수 특징을 추가하지 않으며, p=1에서 표준 어텐션을 복원한다. 4개의 연속 시간 동적 그래프 모델과 3개의 데이터셋에 걸쳐, MAA는 12개의 모델-데이터셋 셀 중 11개에서 future-link AUC를 개선한다. 동일한 은닉 표현에서의 선형 복원은 평균 4.49% 증가하며, family-wise correction 후 preferential-attachment 복원은 12개 셀 모두에서 개선된다. 또한 marked temporal point process(MTPP), temporal knowledge graph(TKG), 검색-증강 생성(RAG), 시공간 point process(STPP)에서도 일관된 증거를 관찰한다. 정보 접근성과 태스크 유용성은 여전히 구별된다. MTPP에서 NLL은 개선되지만, TKG에서는 랭킹이 대체로 유지되고, RAG의 추가 정보는 진단 헤드를 개선하지 않으며, STPP에서는 하류 LayerNorm이 신호를 지울 수 있다. 이 결과들은 MAA를 표준 어텐션에서 반복 불변성(repetition invariance)을 제어함으로써 예측기 대면 표현의 정보성을 개선하는 일반적인 정규화 원리로 자리매김한다.

arXiv:2607.20560v1cs.LG공통 태그 Knowledge Graphs, Link Prediction, Graph Learning

Chronofy: 시간 인식 검색-증강 생성에서 정보 유효성을 위한 시간-논리 감쇠 아키텍처

Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation

검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM) 출력을 그라운딩하기 위해 외부 지식을 검색하고 통합한다. 그러나 현재 RAG 아키텍처는 시간적 출처와 관계없이 검색된 모든 사실을 동등하게 유효한 것으로 취급하여, 그럴듯하지만 구식인 사실이 출력을 오염시키는 시간적 환각(temporal hallucination)을 초래한다. 어제의 임상 검사 결과는 실행 가능하지만, 6개월 전의 동일한 검사 결과는 노이즈이다. 우리는 시간적 유효성을 RAG 시스템의 표현, 검색, 추론 층에 직접 내재화하는 시간-논리 감쇠 아키텍처(TLDA)를 구현하는 3층 신경-기호 프레임워크인 Chronofy를 제안한다. 층 1은 Matryoshka 임베딩 내에 전용 시간 부공간을 확보하여 사실의 시점이 표현에서 구조적으로 제거될 수 없도록 한다. 층 2는 그래프 기반 검색에 학습 가능한 지수 감쇠 함수를 통합하며, 여기서 감쇠 계수 $β_j$는 잠재 과정의 평균 회귀(mean-reversion)율의 2배에 대한 근사로서 베이지안 의사결정 이론에 기반한다. 층 3은 Signal Temporal Logic(STL) 견고성(robustness) 함수를 적용하여 LLM 출력 신뢰도가 아닌 검색된 지식의 시간적 유효성을 평가하고, 가능론적 최약 고리(weakest-link) 원칙을 적용하여 추론 사슬에서 가장 많이 감쇠된 증거에 의해 출력 신뢰도를 제한한다. 우리는 시간적 지식 그래프 예측 벤치마크, TimE 시간 QA 벤치마크, 도메인 특화 민감도 분석에서 Chronofy를 평가하였으며, 명시적 시간 감쇠 모델링이 검색 정밀도를 향상시키고 시간적 환각을 줄이며, 시간적 맥락이 불충분할 때 원칙적인 데이터 재획득 트리거를 가능하게 함을 보여준다.

arXiv:2607.14733v1cs.LG공통 태그 Knowledge Graphs, Link Prediction, Graph Learning

GAttNHP: 시간 지식 그래프에서 외삽 추론을 위한 그룹 어텐션 신경 호크스 프로세스

GAttNHP: Group Attention Neural Hawkes Process for Extrapolation Reasoning in Temporal Knowledge Graphs

시간 지식 그래프(Temporal Knowledge Graph, TKG)는 사실이 시간에 따라 어떻게 변화하는지를 기록하지만, TKG에서 미래 사건을 예측하는 일은 여전히 어렵습니다. 그 이유는 세 가지입니다: (i) 장거리 시간적 의존성을 인코딩하기 어렵고, (ii) 서로 다른 체인(chain)上的 이벤트가 상호적으로 촉발하거나 억제하는 방식으로 상호작용하는데, 이는 스냅샷 수준 모델로는 표현할 수 없으며, (iii) 도착 간 시간(inter-arrival time)이 heavy-tailed 분포를 따르고 통계적으로 희소(sparse)하므로 결정론적 시간 예측기는 신뢰할 수 없습니다. 우리는 이 세 가지 문제를 단일 프레임워크인 Group Attention Neural Hawkes Process(GAttNHP)로 해결합니다. GAttNHP는 서로 대응하는 세 가지 구성 요소로 구성됩니다. 첫째, 셀프 어텐션(self-attention) 인코더는 각 주체-관계(subject-relation) 체인을 연속 시간 점 프로세스(continuous-time point process)로 모델링하고, 먼 과거 이력의 지속적인 촉발(excitation) 효과를 포착합니다. 둘째, 의미론적 소프트 그룹핑(semantic soft-grouping) 모듈은 전역적으로 학습 가능한 Hawkes 사전(prior)을 해석적(analytical) 크로스 어텐션(cross-attention) 마스크로 변환하여, 체인들이 전수적 쌍별(pairwise) 계산 대신 잠재(latent) 그룹 소속(group membership)을 통해 촉발 패턴을 공유하도록 합니다. 셋째, Non-Crossing Quantile(NCQ) 회귀 헤드(regression head)가 평균 기반 시간 예측을 대체하여, heavy-tailed 도착 간 시간 분포에서도 안정적인 보정(calibrated)된 단조(monotonically) 순서의 분위수(quantile) 추정치를 제공합니다. 6개의 벤치마크 TKG 데이터셋에서 GAttNHP는 엔티티(entity) 예측과 시간 예측 모두에서 최신(state-of-the-art) 기준선(baseline) 대비 성능을 개선했으며, ablation 실험은 가장 큰 향상이 기존 모델이 가장 크게 실패하는 롱테일(long-tail) 이벤트 체인에서 나타남을 확인합니다.

arXiv:2607.14886v1cs.AI공통 태그 Knowledge Graphs, Link Prediction, Graph Learning

시간적 지식 그래프 추론에서 효율적 목표 지향 경로 탐험을 위한 도달 가능성 인식 사전학습

Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration in Temporal Knowledge Graph Reasoning

외삽(extrapolation) 설정 하에서의 시간적 지식 그래프(TKG) 추론은 시간적 지식 그래프의 역사적 데이터로부터 미래의 시간 스탬프 이벤트(사실)를 예측하는 것에 초점을 맞춘다. 기존 접근 방식 중 강화학습(RL) 기반 다중 홉(multi-hop) 추론 방법은 명시적인 다중 홉 경로 추적을 통해 사람이 해석 가능한 예측을 생성하기 때문에 TKG 추론에서 두드러진다. 그러나 RL 학습 중 보상은 보통 희소하고, 방대하고 시간에 따라 변화하는 행동 공간(action space)으로 인해 탐험이 매우 비효율적이다. 이러한 문제는 효율적인 학습을 저해하고 종종 전반적인 성능을 제한한다. 이러한 과제를 해결하기 위해, 우리는 에이전트에 도달 가능성 인식(reachability-aware) 귀납적 바이어스(inductive bias)를 주입하는 자기지도 사전학습 방법인 RAPTOR(Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration)를 제안한다. 후보 행동이 목표 엔티티에 도달 가능한지 추정하도록 학습함으로써, RAPTOR는 유망하지 않은 경로에 대한 탐험을 줄이고 하류 RL 미세조정을 위한 강력한 초기화를 제공한다. ICEWS14, ICEWS05-15, ICEWS18 데이터셋에서의 실험 결과는 RAPTOR 사전학습이 학습 효율을 현저히 향상시키고 기존 베이스라인을 일관되게 능가함을 보여주며, TKG 추론을 위한 RL 기반 다중 홉 추론 방법을 강화하는 효과적인 접근법임을 입증한다.

arXiv:2607.13120v1cs.LG공통 태그 Knowledge Graphs, Link Prediction, Graph Learning

CoDiffGRN: BEELINE-KGC 벤치마크와 공진화 이산 확산을 통한 유전자 조절 네트워크 추론 재고

CoDiffGRN: Rethinking Gene Regulatory Network Inference via the BEELINE-KGC Benchmark and Co-evolutionary Discrete Diffusion

단일세포 전사체 데이터로부터 유전자 조절 네트워크(GRN)를 추론하는 것은 생물학적 발견에 중요하지만, 기존 접근법은 실제 요구와 근본적인 불일치 문제를 겪는다. 연구자들은 일반적으로 실험적 검증을 위해 소수의 고신뢰 조절 상호작용을 찾으며, 이는 종종 이전에 보지 못한 유전자를 포함한다. 그러나 현재 벤치마크는 전역 분류 지표를 사용하는 전이(transductive) 분할에 의존하는 반면, 주류 모델은 귀납(inductive) 설정에서 일반화하기 어렵다. 이 격차를 해소하기 위해, 우리는 GRN 추론을 귀납적·순위 중심 그래프 완성 문제로 재공식화하고, 귀납적 유전자 홀드아웃 분할과 지식 그래프 완성 지표를 함께 도입하여 상위 순위 예측을 더 잘 평가하는 새로운 벤치마크 BEELINE-KGC를 제안한다. 이를 바탕으로, 견고한 귀납적 일반화와 상위 순위 조절 발견 개선을 위해 생물학적으로 일관된 이산화된 유전자 발현 상태와 조절 상호작용을 공동으로 모델링하는 최초의 공진화 이산 확산 프레임워크 CoDiffGRN을 제안한다. 또한 확장 가능한 학습을 위해 TF-ALL Subgraph Sampling(TASS)을 도입한다. BEELINE-KGC에 대한 광범위한 실험에서 CoDiffGRN은 새로운 최고 수준(state-of-the-art) 성능을 달성하며, 새로운 조절 발견에서 기존 방법을 크게 능가하고, 절제 연구는 설계의 효과를 추가로 검증한다.

arXiv:2607.09666v1cs.LG공통 태그 Knowledge Graphs, Link Prediction, Graph Learning

지식 그래프와 그래프 신경망의 만남: 종합 서베이

Knowledge Graphs Meet Graph Neural Networks: A Comprehensive Survey

그래프 신경망(GNN)은 그래프 구조 데이터를 모델링하는 고유한 능력으로 인해 지식 그래프(KG) 분야에서 강력한 패러다임으로 부상하였다. 그러나 지식 그래프 기술 파이프라인 전반에 걸친 GNN 기반 방법론에 대한 체계적인 리뷰는 아직 부족한 실정이다. 이러한 공백을 해소하기 위해, 본 논문에서는 GNN 기반 지식 그래프 기술에 대한 새로운 2단계 분류 체계를 제안한다: KG 기술 파이프라인 관점과 GNN 기반 관점이 그것이다. 구체적으로, 지식 그래프 기술 파이프라인은 지식 그래프 구축, 지식 그래프 임베딩, 지식 추론, 지식 그래프 응용을 포함한다. 한편, GNN 기반 관점은 GCN, GAT, HGNN 등의 GNN 모델을 활용하여 지식 그래프 기술을 새롭게 범주화한다. 이어서 지식 그래프 생애주기 내 다양한 태스크의 특성에 기반하여 GNN 기술의 이점을 분석한다. 나아가 제안된 분류 체계에 따라 지식 그래프를 위한 다양한 GNN 기반 모델을 상세히 검토하고, 각각의 강점과 한계를 정리한다. 마지막으로, 아직 해결되지 않은 과제들을 논의하고 향후 연구를 위한 유망한 방향을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.